Introducción

Las relaciones públicas, si bien mayoritariamente dominadas por un proceso canónico de planificación, pocas veces incluyen a la evaluación con parte de sus proyectos, lo que deja sin evidencias claras el quehacer profesional y sin resultados formales y precisos que muestren la eficiencia y eficacia alcanzadas.

Las razones de esta ausencia, según expertos, obedecen a aspectos de costo, tiempo, o, bien, al desconocimiento de las técnicas y métodos de investigación de evaluación, lo cual induce a la aplicación de acciones o prácticas no científicas o formales para obtener o determinar resultados (Cutlip y Center, 2001; Dozier, 1984; Watson y Noble, 2009; Zerfass et al., 2008).

Del mismo modo, Armendáriz concluyó, luego de revisar investigaciones sobre evaluación en relaciones públicas realizadas en Estados Unidos, Gran Bretaña y España, en los últimos veinte años, que

evaluar es una necesidad reconocida pero no practicada, entre otras consideraciones por cinco diferentes barreras: el desconocimiento de la investigación comunicativa por parte los profesionales; su deficiente formación en técnicas de investigación; la ambigüedad en el planteamiento de los objetivos y la confusión entre los medios y los fines; la consideración de las relaciones públicas como una actividad técnica y no estratégica; y las limitaciones estructurales como el excesivo coste y la limitación de tiempo. (2010, citado en Túñez, 2012, p. 67)

Si bien actualmente existen muchas herramientas —internet, plataformas sociales, entre otras— para verificar y medir no solo el alcance, sino también los resultados y efectos obtenidos con las acciones comunicativas que se despliegan, la práctica no se ha introducido lo suficiente en el desempeño profesional de los relacionistas públicos.

Algunos organismos internacionales, como la Asociación Internacional para la Medición y Evaluación de las Comunicaciones (AMEC, por su sigla en inglés), así como el Institute for Public Relations y la Asociación Interamericana de Relaciones Públicas, han trabajado durante las últimas dos décadas en analizar el tema y proveer herramientas para la aplicación por parte de los profesionales, especialmente ahora que la internet ofrece facilidades de medición importantes.

La falta de instrumentos para demostrar el impacto de la comunicación en los objetivos de las organizaciones es una condición que limita la influencia y credibilidad del profesional en la mesa directiva. Una de las mayores limitantes en este camino es la falta de conocimiento sobre métodos y técnicas de evaluación, los cuales fácilmente desmitificarían la percepción de que siempre es un proceso costoso, complicado y lento. Los futuros líderes de la comunicación, tal como lo mencionan diversos autores (Grunig y Hunt, 2003; Watson y Noble, 2009; Watson y Simmons, 2004; Zerfass et al., 2016), requieren de estas competencias para alcanzar la influencia esperada en la coalición dominante.

Este estudio se enfoca en revisar y describir la práctica de la evaluación en las agencias de relaciones públicas costarricenses. Surge como parte de una investigación mayor titulada “Cultura de evaluación de la comunicación en las agencias de relaciones públicas de Costa Rica”, la cual abarca tanto la parte cultural como la evaluación misma que se practica en estas estructuras.

El objetivo general planteado para la investigación antes mencionada fue precisamente conocer la cultura de evaluación que impera en las agencias de relaciones públicas costarricenses para las estrategias, proyectos y acciones que desarrollan para sus clientes. Sin embargo, para el presente artículo solo se presentan los resultados correspondientes a los procesos evaluativos que desarrollan.

Marco referencial

La práctica profesional y el desarrollo académico de las relaciones públicas en Costa Rica data de finales de los años setenta. A pesar de que han pasado más de cincuenta años, se sigue la misma línea que utilizan otros países alrededor del mundo, al mostrar pocos avances en la implementación de la evaluación en sus propuestas y actividades.

Desde los inicios

La práctica de la evaluación no ha sido frecuente en las acciones de comunicación y los pocos intentos quedan en niveles básicos de mediciones. Diversos autores y estudios en distintas latitudes —desde Estados Unidos, Australia y el Reino Unido— muestran la escasa incorporación en la actividad habitual de los relacionistas públicos (Watson, 2012). De igual manera, otros estudios en Alemania y Australia (Baerns, 2005, citado en Watson y Noble, 2009; Xavier, 2005, citado en Raupp, 2008; Watson y Simmons, 2004) revelan el uso de métodos no científicos como el conteo de publicaciones, la asistencia a actividades, monitoreo de medios o, en el mejor de los casos, el análisis de contenido.

Organismos internacionales han procurado ofrecer herramientas o criterios para realizar evaluación en las relaciones públicas, como la American Management Association, que publicó en 1968 el libro Measuring and Evaluating Public Relations Activities; el Institute for Public Relations, que destinó un capítulo completo de su actividad a la medición y evaluación, junto a autores como Robinson, que publicó, en 1969, su libro Public Relations and Survey Research.

En la década de los noventa, Walter Lindenmann propuso tres etapas para la evaluación: output, outtake y outcome, las cuales no solo se volvieron universales entre los estudiosos y entre los profesionales, sino que se alinearon con lo establecido posteriormente por la AMEC como niveles básicos, intermedio o avanzado de resultados o de impacto de las actividades de relaciones públicas.

La primera década terminó con la adopción de la Declaración de Barcelona con los Principios de Medición, en la Cumbre Europea de Medición en junio de 2010 (AMEC, 2010). Esta declaración de los siete principios de medición de la actividad de relaciones públicas favorece la medición de los resultados —en lugar de resultados en los medios de comunicación— y la medición de resultados del negocio y de los medios sociales, pero rechaza los AVE (Advertising Value Equivalency), ya que fallan en indicar el valor de la actividad de relaciones públicas (Watson, 2012).

Los resultados de los estudios citados muestran un enfoque en el reporte de producción y cumplimiento de las acciones (outputs), pero en muy pocos casos las mediciones y evaluaciones de los profesionales llegan al nivel de resultados de relaciones públicas o bien a mostrar algunos efectos (outcomes).

Según el European Communication Monitor,

como se puso de manifiesto en ediciones anteriores del ECM, la investigación evaluativa no ha alcanzado en Europa los niveles más desarrollados. De acuerdo con los cuatro niveles de evaluación (DPRG/ECV, 2009), solo el 34,4% de los profesionales evalúan los outflows, 53,9% los outcomes, 84% los outputs y 46,9% los inputs. La mayoría llevan a cabo seguimiento de medios (84%) o de Internet/intranet (64%), pero solo un tercio (34,4%) controla los efectos sobre los objetivos organizacionales. (2010, citado por Álvarez, 2011, p. 11)

Otras latitudes coinciden con esta situación, pues Boersman y Bowen (2012, citado en Kabucua et al., 2016) afirman que las equivalencias publicitarias (AVE, por su sigla en inglés) son el método más común de evaluación aplicado por los ejecutivos de relaciones públicas en Asia.

En esa misma línea, y más reciente aún, el estudio de Starčić y Jakopović (2016), en Croacia, coincide con estas condiciones citadas por el European Monitor:

Los respondentes usualmente miden su actividad de Relaciones Públicas y comunicación en redes sociales (80%) para determinar efectividad en los programas de comunicación. En 54% de los casos, esta opción es utilizada por cada programa de Relaciones Públicas, mientras que 14% no lo usa del todo. Esto es seguido de recortes de prensa (74%) utilizado por cada campaña de Relaciones Pública en 54% de los casos, mientras que 11% nunca lo usa. Una parte de los respondentes tambien miden las actividades del sitio web oficial (60%). Solo 20% de los respondentes miden los cambios en actitudes y comportamiento y solo 6% de ellos mide el impacto en los resultados financieros. (2016, p. 50; traducción propia)

En Latinoamérica, un estudio realizado en las seis agencias de relaciones públicas más prestigiosas del Perú indica que en un porcentaje “de 7 de 9 consultores hacen uso de métodos cualitativos y cuantitativos en la evaluación de su comunicación” (Jiménez, 2014, p. 63). Sin embargo, cuando se detallan las técnicas, la única utilizada es el “análisis de resultados”, dejando de lado métodos formales y científicos como encuestas, auditorías y otras de carácter cualitativo (Jiménez, 2014, citado por Acosta, 2018).

La indagación en el contexto costarricense no mostró estudios ni investigaciones sobre la evaluación de los servicios de relaciones públicas o de la comunicación en general.

En perspectiva

El desarrollo de la internet facilitó el uso de software y el acceso a datos sobre las interacciones de los usuarios con mensajes y diversas acciones de comunicación de las organizaciones. Esta situación catapultó el uso de mediciones, las cuales fueron asumidas por las relaciones públicas como la solución a sus faltantes para determinar efectos. Incluso, llegaron a equipararse con las mediciones de salidas en medios, clippings y AVE, los cuales han liderado los intentos de evaluación de las relaciones públicas. Tal como lo cita Macnamara (2014), los retos de la industria con la medición y evaluación continúan con los medios sociales. Un estudio longitudinal del uso de las redes sociales por parte de profesionales en relaciones públicas y comunicación corporativa de 2006 a 2012 realizado por Wright y Hinson (2012) encontró que el 54% mide lo que los públicos externos dijeron sobre ellos en blogs u otros medios sociales (es decir, monitoreo y análisis de contenido), pero solo el 26% reportó que miden el impacto de la comunicación social en la formación, cambio y refuerzo de las actitudes, opiniones y comportamiento.

La llegada de internet no ha solucionado el vacío de formas que mejoren la determinación del impacto de las relaciones públicas. Si bien estas métricas permiten ver la interacción, su análisis aún es tímido y las discusiones sobre la precisión terminológica de los indicadores —como tono, impresiones, alcance, audiencia— se extienden a uno y otro organismo internacional que clama por la última versión (Macnamara, 2014).

Este auge de las redes sociales y el mantenimiento de formas de medición, como los conteos de salidas en medios, seguirán utilizándose en tanto no se encuentre una fórmula entre técnicas científicas y criterios como acceso, facilidad y bajo costo que ofrecen las actuales, aunque no respondan a criterios de idoneidad, precisión y formalidad científica.

De acuerdo con Acosta,

las nuevas guías de las organizaciones internacionales como AMEC enfocan sus baterías en la relevancia de establecer bien los objetivos y la evaluación que tendrán, enfocarse en lo que se hace más que en lo que no, se pasa de solo la medición a incorporar con la misma necesidad la evaluación y la visión, y los métodos cualitativos son tan importantes como los cualitativos. Igualmente la evolución involucra que se atienda más el resultado que la medición de salidas, así como el efecto en el desempeño organizacional, y la necesidad de que la medición y la evaluación deben ser transparentes, consistentes y válidas. (2018, p. 7)

En junio de 2018, la AMEC realizó su conferencia anual donde se discutieron algunas herramientas de medición para la innovación, percepciones e integración. Posteriormente, lanzó un sitio web con el Integrated Evaluation Framework (Marco Integrado de Evaluación), que es la más reciente propuesta de herramienta en línea para llevar control del proceso de evaluación ofrecido a las organizaciones —miembros o no—, de igual manera para integrar otros elementos que antes no estaban en la propuesta de este organismo, tales como los inputs, actividades e impacto —adicionales a los ya mencionados outtakes, outcomes . outputs—, incluidos los componentes de pagado, ganado, compartido y propio (PESO, por su sigla en inglés). Se incorporan también el plan estratégico y la situación de contexto como entradas, igualmente, hacer un recuento de las actividades que comprenden tanto las de investigación como las de contenido y producción (AMEC, 2018).

Evaluación

La planificación establece la evaluación como una de sus etapas básicas y fundamentales. Lo anterior no es antojadizo, pues después de la acción es necesario revisar cuánto y cómo se logran alcanzar los objetivos definidos y el propósito general de la estrategia planteada.

Al respecto, es necesario hacer la distinción entre evaluar y medir. En el primer caso, Castro Lopes y Grandi lo definen como “la etapa del proceso de planificación que verifica el desempeño de un plan previamente establecido y que ocurre a lo largo de su implementación, en busca de posibles ajustes” (2009, citado en Álvarez, 2011, p. 74).

Por su parte Cutlip y Center establecen que la evaluación es “la aplicación sistemática de procedimientos de investigación de las ciencias sociales para evaluar la conceptualización, diseño, implantación y utilidad de los programas de intervención social” (2001, p. 515). Ellos definen diez pasos para la ejecución de la evaluación y dividen el proceso en tres etapas: preparación, implementación, e impacto. Si bien esta propuesta cubre todo el proceso de la estrategia, predominan las mediciones numéricas para establecer los registros a lo largo de la implementación y el impacto, lo cual deja pocos criterios para valorar la calidad del desempeño y los cambios alcanzados.

En el caso de Wilcox et al., su planteamiento sobre la evaluación se resume en “la medición de los resultados respecto a los objetivos definidos durante el proceso de planificación” (2010, p. 245). Apoyado en varios expertos y académicos reconocidos, los autores consideran la evaluación como última acción del programa, no del proceso de ejecución, sino del cierre, “para medir y documentar sus efectos” (2010, p. 245). Así, la evaluación se resume a una puesta en evidencia del logro, sin detallar el proceso efectuado.

Lindenmann (1997, citado en Wilcox et al., 2010) propone tres niveles de evaluación: básico, que contabiliza la distribución y exposición de los mensajes en medios; intermedio, que mide concienciación, comprensión y retención del mensaje; y avanzado, que determina los cambios de actitud, opiniones y comportamiento. Dentro de cada nivel, el autor propone mediciones para determinar la efectividad de las relaciones públicas.

Establecer el objetivo de la evaluación es determinante para alcanzar un concepto que muestre su diferencia con otras formas de obtener los resultados, más orientadas a la medición o a la intuición. Para Lusthaus, “la evaluación es un proceso útil para determinar el valor de algo y emitir un juicio o diagnóstico, analizando sus componentes, funciones, procesos y resultados para emprender posibles cambios de mejora” (2002, citado en Garnica, 2011, p. 409).

Lograr la comprensión de la evaluación como proceso en la comunicación resulta indispensable para identificar su utilidad y necesidad. González se apoya en Cabrero para ubicarla al servicio de la comunicación al decir que

la evaluación ha de ser un proceso sistemático y no improvisado que asegure la objetividad de la información que se recoge, a través de la emisión de un juicio de valor o de mérito, integrándose en todas las fases de la acción comunicativa, convirtiéndose en un instrumento útil que ayude a la comprensión de los procesos comunicativos. (2005, p. 200)

Muchos de los autores más empleados en relaciones públicas utilizan el modelo de planificación de Marston (1963, citado en Matilla, 2008), en el que las etapas de la planificación siguen un orden, aunque funcionan en una dinámica de espiral. Lo anterior implica que inician con la investigación, siguen con la programación, pasan a la comunicación o ejecución y terminan la primera vuelta con la evaluación. Sin embargo, en este modelo las etapas no se traslapan ni interactúan entre sí, sino que siguen el orden, lo cual priva a la ejecución de ajustes y adaptaciones a cambios en el momento, demandas nuevas del entorno o de la misma organización.

Tal como lo señala González (2005), la evaluación es una acción transversal, lo cual implica que debe contemplarse a lo largo de la vida de todo proyecto o programa, para que pueda actuar como una herramienta de trabajo que permita una intervención oportuna y como una herramienta de aprendizaje para aplicar la mejora en proyectos futuros. Para ello, señala la autora, es necesario que sea permanente, de manera que se incluya desde la preparación (evaluación ex ante), implementación (evaluación intermedia) y hasta la evaluación ex post (evaluación posterior de resultados, también conocida como sumativa).

Medición de resultados

En el caso de la medición, esta se define como “el proceso conducido como un intento de demonstrar los resultados obtenidos por un programa; o sea, demostrar que los objetivos inicialmente propuestos fueron alcanzados efectivamente” (Álvarez, 2011, p. 74). Empero, esa demostración requiere de una verificación que se alcanza con mediciones numéricas, lo que deja por fuera los elementos cualitativos de la valoración.

Según el Dictionary of Public Relations, Measurement and Research (2013), una medición es una manera de dar a una actividad una dimensión precisa, generalmente por la comparación con algunos estándares, usualmente dados de una manera cuantificable o numérica.

Al respecto, Irazu acuerpa esta definición al decir que la medición es “proporcionar y comparar una cosa con otra” (2002, citado en Álvarez, 2011, p. 5), lo cual la vincula directamente con el uso de la estadística para obtener datos de valoración numérica.

La práctica de diversas compañías de utilizar Indicadores Clave de Desempeño (KPI, por su sigla en inglés) para determinar el cumplimiento, según planificación, se utiliza también en muchas de las actividades de comunicación, como se verá en los resultados del estudio. Esta tendencia parece regirse por la idea de Irazu de “medir ayuda a demostrar con mayor o menor exactitud que lo que se invierte en comunicación se traduce en beneficios para la empresa” (2002, citado en Álvarez, 2011, p. 6). Para el caso específico de comunicación, los KPI se toman como un outtake —o sea, un nivel intermedio de resultados—, ya que son datos que proveen evidencia del desempeño de una campaña contra ventas, cliqueos, comentarios, etc. (Stacks y Bowen, 2013). Por supuesto, esta medición requeriría discriminar que la comunicación, específicamente, fue la encargada de generar tales beneficios.

Otros tipos de medición incluyen las propuestas por Wilcox et al. (2010): la medición de la producción (lo producido), la de exposición (apariciones en medios, visitas de internet, equivalencia publicitaria, seguimiento de medios, comunicados frente a publicaciones, solicitudes de información, coste por persona, asistencia de público), de concienciación (lo recibió, está consciente, lo ha comprendido, retenido), de actitud (diferencias de opinión entre antes y después) y medición de la acción del público (efectos, consecuencias).

Igualmente, se han desarrollado diversos modelos o herramientas que caen en evaluaciones o mediciones, de acuerdo con la profundidad de los efectos que se busca determinar y del tipo de técnicas de investigación aplicadas. Este es el caso de auditorías de comunicación (Álvarez, 2011; Matilla, 2008); modelos integrales como el yardstick o regla de efectividad (Lindenmann, 1993, citado en Watson y Noble, 2009), que plantean mediciones según el nivel de complejidad y el alcance de los resultados, acorde con los objetivos propuestos; y el modelo piramidal de investigación de relaciones públicas de Macnamara (2001, citado en Watson y Noble, 2009), que plantea los niveles mencionados de inputs, outputs, outtakes y outcomes, los cuales van integrando acciones de la estrategia, vinculados con metodologías de medición específicas para cada etapa y nivel.

Igualmente, en relación más directa con la acción gerencial, está el cuadro de mando integral o balanced scorecard (Kaplan y Norton, 2002), en el que se trata de vincular indicadores de medición de los resultados con indicadores financieros y no financieros contemplados en la planificación estratégica. En esta misma línea, Raupp (2008) explica el nivel del outflow o salida, incluido en las mediciones propuestas por la AMEC, el cual busca medir la contribución de las relaciones públicas para incrementar el valor económico de la organización, por ejemplo, mediante indicadores como relaciones más duraderas con los clientes, crecimiento de la productividad, reducción de costos en comparación con medios tradicionales de comunicación, entre otros.

El más cercano a los modelos de evaluación (como proceso permanente) es el de Fairchild (2003, citado en Watson y Noble, 2009) elaborado para el Institute for Public Relations como caja de herramientas y conocido como planning, research and evaluation (PRE, por su sigla en inglés). Este establece un proceso circular de cinco pasos: auditoría, objetivos, estrategia y plan, seguimiento de mediciones y resultados, y evaluación. Esta última etapa vuelve a activar el proceso con una perspectiva de aprendizaje.

Otra medición apoyada en recursos metodológicos de corte publicitario o mercadológico es la medición de la exposición de marca, la cual suma herramientas y métricas de internet y redes sociales. Y por último, el retorno de inversión (ROI, por su sigla en inglés) también es utilizado en el campo de las relaciones públicas, y emplea un cálculo que proviene generalmente de algunas AVE para medir el beneficio de una cobertura mediática periodística, utilizando valores publicitarios del medio —ya sea de espacio, ubicación, tiempo, horario, entre otros—. Este cálculo es muy criticado por diversos autores, entre ellos, Zerfass et al. (2016), ya que continúa utilizándose como un objetivo alcanzable, bajo la idea errónea de que es posible determinar el ROI financiero atribuible a la comunicación.

Metodología

La investigación es de tipo exploratoria-descriptiva. El enfoque de la investigación es mixto, en tanto usa técnicas de recolección de datos cualitativas y cuantitativas (Hernández et al., 2010), y también la estadística descriptiva y la codificación, así como el análisis temático, como técnicas para el análisis de los datos.

Se realizó una triangulación de datos para resguardar la credibilidad del proceso investigativo. Primero, mediante la revisión de fuentes bibliográficas y referencias actualizadas de bases científicas. En esta primera fase se construyeron las categorías para el desarrollo de las entrevistas, las cuales, una vez administradas a los gerentes o dueños de agencias, se les aplicó el análisis temático para construir las variables del estudio cuantitativo mediante la encuesta aplicada a los ejecutivos.

Para obtener el universo de agencias participantes, se construyó una base de datos a partir del registro del Colegio de Periodistas de Costa Rica (2015), la verificación de datos y revisión de sitios web para determinar las que cumplían con los criterios definidos.

El universo del estudio consistió en 39 agencias. Los criterios de selección fueron tres: antigüedad igual o mayor a diez años al iniciar la investigación; ubicación geográfica dentro de la Gran Área Metropolitana; y que el enfoque del servicio estuviera orientado a las relaciones públicas o la comunicación estratégica. Del total identificado se descartaron 26 porque no cumplían con alguno de los criterios y quedó un total de 13 agencias.

En cuanto a lo cuantitativo, este se desarrolló mediante cuestionarios. La encuesta se aplicó a los ejecutivos de las agencias que desempeñan una labor directa en la atención a los clientes y son profesionales con formación universitaria en comunicación. La población final de ejecutivos fue de 72 profesionales.

El instrumento constó de 31 preguntas y el procesamiento de datos se realizó mediante el uso del paquete estadístico Statistical Package for the Social Sciences (SPSS). Se realizó una validación del cuestionario con cuatro exejecutivos de las agencias, luego se le aplicó el coeficiente Alfa de Cronbach. El resultado permitió que corrigieran construcciones sintácticas de las preguntas, se eliminaran opciones y preguntas que no ofrecían la fiabilidad suficiente.

Se seleccionaron 16 de las 31 preguntas para la presentación de los resultados de este artículo y se confrontaron con lo obtenido en la parte cualitativa, para generar un conjunto completo para el análisis sobre los temas propuestos.

Resultados

Los resultados de este estudio versan sobre la evaluación en cuanto al enfoque, técnicas, alcance y condiciones para realizar esta etapa en los proyectos o actividades que estas empresas de comunicación ejecutan para sus clientes.

En cuanto a la muestra encuestada, de los 72 ejecutivos, un 58,3% tiene nivel de licenciatura, 25% ostenta bachillerato y 16,7% con maestría.

El enfoque de la evaluación

Cuando se trata de obtener resultados/impacto de un proyecto, en las agencias los ejecutivos recurren más al monitoreo de prensa con análisis (54,2%) —que se sitúa entre las equivalencias publicitarias también conocido como AVE , la presencia de mensajes claves y la valoración de positivo, neutro o negativo de la cobertura efectuada por la prensa—. En segundo nivel de importancia se mencionan las estadísticas de participación, alcance y apoyo (12,5%), que refieren fundamentalmente a mediciones en redes sociales (Figura 1). Ambas respuestas indican un predominio del enfoque cuantitativo, con leve uso de enfoque cualitativo con el análisis del monitoreo que podría entrar con el uso de alguna clasificación cualitativa del contenido observado en medios.

Al respecto, los dueños o gerentes de agencias mostraron un equilibrio entre ambos enfoques de investigación de resultados, pues mayoritariamente se utilizan los analytics de redes sociales y las equivalencias publicitarias que entran dentro del enfoque cuantitativo, seguido de técnicas cualitativas como análisis de contenido, entrevistas y encuestas, las cuales se interpretan más como sondeos por los comentarios adicionales del tipo de muestreos que se realizan.

En cuanto a las herramientas que utilizan las agencias con mayor frecuencia para el monitoreo y evaluación de las acciones, los participantes mencionaron en primer lugar los reportes de publicity con análisis de cobertura (45,8%), seguido de indicadores de cumplimiento (20,8%) y análisis de contenido de redes sociales (15,3%). Estos resultados concuerdan con el tipo de herramientas mencionadas por los dueños o gerentes, lo cual muestra que hay lineamientos establecidos para la verificación de resultados.

El alcance de la evaluación

Según las personas encuestadas, los proyectos se monitorean o se miden varias veces, luego al cierre se recoge lo último y si se quiere se hace una investigación (43%), mientras que un 26,4% indica que al final se recogen todos los resultados y, con menos selección, se indica que al finalizar se analizan resultados y luego se mide el impacto con una evaluación (15,3%) (Figura 2). La primera frecuencia correspondería a un concepto de evaluación como un proceso transversal en la ejecución; sin embargo, esta opción de hacer o no un estudio al final para recoger impactos indica que el proceso se basa fundamentalmente en mediciones que no llegan al nivel de outcome, sino de indicadores de cumplimiento y quizás outtakes, como se comprueba en otras de las respuestas brindadas. En cuanto a la segunda frecuencia —al final de la ejecución— esta corresponde al enfoque más tradicional de observar solo resultados. Si esto se cruza con el tipo de técnicas para evaluación de resultados o impacto mencionados anteriormente, se tiene que hay una valoración de outputs y outtakes por el análisis de contenido.

El tercer momento de evaluar indicado con mayores selecciones por las personas encuestadas –al finalizar y medir con evaluación– mostraría al menos la intención de efectuar una medición más formal. No obstante, nuevamente por el tipo de técnicas indicadas para evaluar se queda por igual en el nivel de outputs y outtakes al que corresponden.

También se consultó por la frecuencia con que se realiza evaluación para determinar el impacto. Al respecto las personas dicen que siempre (59,7%) y un 33,3% que casi siempre, lo cual corresponde con las respuestas dadas en las prácticas de evaluación que se aplican en los proyectos.

En el caso de los dueños o gerentes de agencias, estos mencionaron que integran la evaluación, la mayoría de manera intencional para todos los proyectos, ya sea con un reporte de resultados de la gestión, o, bien, mediante resultados de equivalencias publicitarias, métricas de redes sociales o de eventos. La segunda razón relevante —con menos de la mitad de las menciones— es que se hace evaluación si el cliente la pide y depende del tipo de proyecto.

En cuanto a los informes finales, las agencias reportan con más frecuencia resultados de producción, gestiones, reacciones y acciones desplegadas por públicos (25%), seguido de lo gestionado y el logro alcanzado (aprobación, reactivación, no crisis, detener una acción) con un 23,6%, y de lo pautado/publicado y el alcance logrado (19,4%). En el primer caso, las personas participantes eligieron un registro con casi todos los niveles de resultados, empero, esta respuesta debe leerse a la luz de las técnicas utilizadas y el tipo de resultados que indicaron anteriormente que se entregan como evaluación.

En el caso de la segunda respuesta con más opciones —lo gestionado y logrado—, esta corresponde con el nivel del output o con medición de producción y pareciera que también con el de outcome. Nuevamente acá deben referirse las respuestas anteriores para entender este alcance. La aprobación de un proyecto, la reactivación de un servicio, el hecho de que se previniera la crisis o se detuviera una acción contra la organización o sus fines, no implica un proceso evaluativo, solo un resultado no medido.

La tercera respuesta de esta consulta, sobre el tipo de resultados reportados a clientes —pautado, gestionado y alcance—, nuevamente recae en el nivel de outputs y outtakes, de acuerdo con las lecturas de respuestas anteriores, pues los efectos que se pueden detectar con las herramientas mencionadas corresponden con reacciones en redes sociales que no alcanzan a determinar cambio de conducta o impacto en la organización.

En cuanto a la frecuencia con que se evalúa el impacto, según el nivel de importancia en temas de evaluación, de las 68 personas que contestaron, 43 dijeron que siempre se evalúa el impacto alcanzado en los proyectos y 24 que casi siempre. Con respecto al nivel de importancia que se le otorga a la evaluación, 26 de las 68 personas participantes afirmaron que tiene el más alto nivel de importancia en la agencia (puntaje 10), seguido de 17 personas que lo califican con 9 de puntuación en importancia y 11 de ellas con un 8.

Estos resultados muestran que los ejecutivos tienen la misma posición que sus colegas de otras latitudes (Alemania, Estados Unidos, Croacia, Kenia y Australia), donde se identifica la evaluación con un alto nivel de importancia en lo que hacen, pero no implica que se ejecuten acciones o prácticas que correspondan con una evaluación formal o sistemática (Álvarez, 2011; Kabucua et al., 2016; Raupp, 2008; Starčić y Jakopović, 2016; Watson y Noble, 2009; Watson y Simmons, 2004; Zerfass et al., 2016).

Las técnicas de investigación aplicadas en la evaluación

En cuanto a las herramientas que utilizan para el monitoreo y evaluación de las acciones o servicios, las personas encuestadas mencionaron los reportes de publicity con análisis de cobertura (45,8%), indicadores de cumplimiento (20,8%) y análisis de contenido de redes sociales (15,3%) (Figura 3). Los reportes de publicity implican identificación de variables, las cuales usualmente corresponden con medio, periodista, título de la nota, edición y fecha, conversión de espacio (que se refiere a la equivalencia publicitaria del espacio/tiempo que ocupó la nota en términos monetarios), alcance, enfoque (positivo, negativo, neutro), fuentes identificadas, entre otros. Mayoritariamente, el análisis de cobertura adiciona a las anteriores variables aspectos como la clasificación del tipo de medio para valorar el alcance a los públicos objetivo, presencia de mensajes claves, entre otros. Esta herramienta aplica técnicas cualitativas, al analizar estos resultados para las intenciones del cliente, en cuanto a exposición del mensaje, alcance a públicos objetivo y enfoque de la cobertura en términos favorables o no al cliente o su tema. Igualmente, la herramienta utiliza cuantificaciones específicamente para determinar las equivalencias de espacio-costo, la cantidad de notas de cobertura logradas y el número relativo de personas alcanzadas con la publicación. Hasta aquí, la técnica se acercaría mayoritariamente a lo que corresponde con lo cualitativo, con el análisis de contenido de la cobertura.

Los indicadores de cumplimiento corresponden con lo que Lindenmann (1997, citado en Wilcox et al., 2010) llama medición de producción y exposición, pues miden si se cumplieron las metas, el tiempo, el presupuesto, las actividades, la producción de materiales y su colocación en las plataformas sugeridas, la gestión, entre otros. Como técnica de evaluación, solo registra cuantificaciones de trabajos producidos/alcanzados y verifica cumplimiento de metas, lo cual alcanza en evaluación para el monitoreo de avances o evaluación formativa.

La última selección más alta sobre monitoreo y evaluación de las actividades, el análisis de redes sociales, entra dentro de las técnicas cualitativas, si se aplica análisis de contenido y se va más allá del conteo de indicadores sobre la información posteada.

Tal como se había mencionado antes sobre el enfoque, en cuanto al monitoreo de prensa y las estadísticas como mecanismos para mostrar resultados/impacto, estas refieren más a cuantificaciones, sin que por ello haya aplicación de técnicas específicas de investigación, ya que solo registran información y la reportan, mas no interviene el análisis o contextualización de la información. Esta sistematización de la información queda vinculada con un nivel de evaluación intermedia o de avance, lo que serían outputs y outtakes, pues no llega a determinar resultados intangibles ni impactos para la organización.

Al respecto, las herramientas más utilizadas para monitoreo y evaluación, según el conocimiento en materia de evaluación de las personas encuestadas, permiten entender por qué estas acciones son las más comunes para llevar adelante los procesos “evaluativos” en las agencias. De las 72 personas que contestaron, 43 afirman tener un nivel medio de conocimiento y 24 un conocimiento alto. De las 43 que dicen tener el nivel medio, 22 dicen que lo que más utilizan para el monitoreo y evaluación son los reportes de publicity con análisis de cobertura y 10 mencionan que los indicadores de cumplimiento. De las 24 que dijeron que tenían conocimiento alto, 9 dicen que los reportes de publicity es lo que más utilizan, seguido de 5 que seleccionaron análisis de indicadores y otros 5 con análisis de contenido de redes. Lo anterior habla de que el nivel de conocimiento importa poco frente a los procedimientos establecidos en la agencia.

En el caso de los dueños y gerentes de agencias, estos coinciden con la mayoría de las respuestas de los ejecutivos encuestados. Para ellos, las mediciones por medio de equivalencias publicitarias y analytics de redes sociales son las principales herramientas para monitoreo y evaluación, seguidas de análisis de contenido, entrevistas y encuestas y, con menos preferencias, los grupos focales, el análisis de monitoreo e indicadores de cumplimiento.

En cuanto a los resultados que los informes finales reportan a los clientes con mayor frecuencia, según las opciones para obtener los resultados o el impacto del proyecto, 14 ejecutivos de 61 que contestaron dijeron que los informes indican lo gestionado y el logro alcanzado, otros 14 dijeron que lo pautado/publicado y el alcance logrado, mientras que 13 indicaron la producción, gestiones, reacciones y acciones desplegadas.

Llama la atención que en los resultados sobre la determinación de efectividad y logro en la comunicación, las personas participantes lo relacionaron mayoritariamente (61%) con los objetivos cumplidos, lo cual corresponde con sus respuestas sobre lo que significa evaluar, pues ahí 56,9% dijo que es ver el cumplimiento de indicadores y objetivos.

Conocimiento en evaluación

El 51,4% de los encuestados menciona que no recibió formación en el tema de evaluación, mientras 48,6% sí reporta haberla recibido en el nivel universitario. Con respecto al grado de conocimiento que manifiestan tener las personas encuestadas sobre el tema, un 59,7% indica que medio y un 33,3% que alto. Este nivel de conocimiento daría la expectativa de un manejo al menos adecuado de herramientas, técnicas y métodos adecuados para evaluar.

Al consultarles a las personas participantes sobre lo que significa evaluar, el 56,9% indica que es ver cumplimiento de indicadores y objetivos, en tanto que un 26,4% dice que lograr el resultado final (sea evitar una crisis, aprobar un proyecto, reactivar una negociación o detener una acción) constituye la evaluación de su trabajo (Figura 4).

Al respecto, cabe destacar el estudio de Marca et al., en el que se indica precisamente que las mediciones simplistas, en las que se considera solo el resultado y no el “efecto”, restan credibilidad a los procesos y a los profesionales (2017, p. 522). Estas situaciones devienen, según los autores, en la falta de un planeamiento con características estratégicas, en el que la investigación y la evaluación son claves para mostrar el impacto, no solo del proceso realizado y la inversión dispuesta, sino también del valor que añade la profesión a la organización y a su plataforma directiva.

Los dueños o gerentes de agencias entrevistados consideraron que los ejecutivos requieren tener conocimientos para poder realizar mediciones y evaluaciones en sus trabajos. Primero, mencionaron conocimientos en estadística, herramientas de investigación y del proceso de evaluación en general, seguido de la capacidad para efectuar análisis y luego el manejo tecnológico y el espíritu crítico.

Adicionalmente, en cuanto a la afirmación “El conocimiento en técnicas de investigación influye para que se realice evaluación en relaciones públicas”, el 97,2% estuvo de acuerdo con esta, a pesar de que el 59,7% de ellas indicó que tiene un conocimiento medio sobre evaluación y un 51,4% que no recibió formación en el tema.

Condiciones para evaluar

En cuanto al mayor obstáculo que señalan los encuestados que existe para realizar evaluación de proyectos en comunicación mencionan el de presupuesto (33,3%), seguido de tiempo (31,9%) o contar con información previa (18%). Este último, sin embargo, sería parte de las labores de un proceso planificado de comunicación (Figura 5).

Al respecto, los dueños o gerentes manifestaron que las condiciones adecuadas para la evaluación se encuentran en la cultura y disposición del cliente hacia la evaluación, en primer lugar, seguido del manejo de herramientas por parte del personal y la claridad de objetivos y contar con presupuesto en igualdad de preferencias.

Conclusiones

Los resultados obtenidos en el estudio muestran que en las agencias costarricenses la aplicación de la evaluación resulta tímida, poco formal y aún es insuficiente para mostrar efectos o impactos de la acción comunicativa y, por ende, de la acción de las relaciones públicas en las organizaciones.

Esta situación no es única de Costa Rica, sino que la indagación mostró claramente que es la misma que presentan las personas profesionales de las relaciones públicas en otros países. El problema de esta tendencia que ha prevalecido durante tantos años tiene un arraigo importante en las prácticas cotidianas, las cuales obvian la planificación como proceso estratégico y recurren a fórmulas que sitúan a las relaciones públicas como un proceso operativo.

La prevalencia de resultados cuantitativos obtenidos de operaciones en medios (ratings, analytics de redes sociales, indicadores de cumplimiento, entre otros) no alcanzan para mostrar impactos, efectos o cambios en los públicos de interés, sino que resultan generalmente una manera de mostrar el esfuerzo de la agencia y el cumplimiento de un plan que deduce cambios o efectos pero que no logra demostrarlos. El uso del retorno de inversión como una herramienta para mostrar rendimiento y efecto de las inversiones organizacionales no consigue comprobar su manejo causa-efecto, pues para esto habría que aislar la acción de las relaciones públicas de cualquier otro esfuerzo.

La coincidencia de criterios entre ejecutivos y gerentes consultados en este estudio muestra que existe un estándar de herramientas y prácticas “evaluativas” y de monitoreo en las agencias, el cual constituye el modus operandi de estas estructuras en la materia.

Las acciones de medición y monitoreo que practican las agencias no alcanzan la profundidad ni la sistematización para determinar efectos en los públicos o impactos en los aspectos o condiciones que se pretenden. Al respecto, hay una exigencia que se impone a los datos o la información recopilada para que se alcance este nivel y se terminan haciendo lecturas de resultados de cumplimiento, gestión o alcance como si fueran las consecuencias esperadas o prometidas. Esto resta rigurosidad y formalidad a la acción de la profesión.

El conocimiento en evaluación indicado por los ejecutivos no es coincidente con sus prácticas. Esto se refuerza en el hecho de que los mismos gerentes mencionan la necesidad de manejo y uso adecuado de la evaluación, junto a otros saberes y capacidades, por parte de los ejecutivos. Igualmente, la importancia otorgada a la evaluación, por ambos grupos consultados, no coincide con la gestión que realizan en los proyectos. Lo anterior puede obedecer a desconocimiento, o bien, a una costumbre propia de la relación con el cliente, en la que predomina el manejo rápido, los resultados puntuales de la gestión, la confusión entre resultados y efectos, y el enfoque cortoplacista.

Preocupa que se “culturalice” la práctica de ignorar la evaluación o sustituirla con herramientas que no alcanzan el nivel evaluativo prometido —efectos, impactos, cambios—, sea por desconocimiento, falta de profundidad, manejo inadecuado o para reducir tiempo y recursos dedicados a esta tarea. Esto genera pocas expectativas de los tomadores de decisiones y crea la idea de que ese es el límite, la práctica establecida y la confusión de que resultados de gestión equivalen a cambios o efectos en conductas de los públicos.

Los resultados del estudio plantean diversos retos. Por un lado, para la academia, en aras de mejorar sus programas de estudio en relaciones públicas e introducir esta materia como conocimiento obligatorio de la formación. Por otro, para las agencias y los profesionales de relaciones públicas para que busquen soluciones —ya sea en la capacitación, la incorporación de prácticas evaluativas con el nivel adecuado a la promesa realizada, la construcción adecuada de los objetivos en sus propuestas, así como en la educación de sus clientes o jefaturas sobre los beneficios de realizar esta etapa con las herramientas adecuadas—, con el propósito de contribuir a la imagen de la profesión, su credibilidad y la percepción del valor adicionado.

Referencias

Notas

* Artículo de investigación.

Notas de autor

^a Autora decorrespondencia. Correo electrónico: diana.acosta@ucr.ac.cr

Información adicional

Cómo citar: Acosta Salazar, D. (2023). La evaluación en la praxis de las relaciones públicas. Signo y Pensamiento, 42.

Descargar