Evaluación de impacto de políticas públicas agrícolas: una revisión sistemática de literatura*
Impact Evaluation of Agricultural Public Policies: A Systematic Literature Review
Hernest-Adel Álvarez-Gómez , Manuela Escobar-Sierra
, Jorge-Andrés Polanco
Evaluación de impacto de políticas públicas agrícolas: una revisión sistemática de literatura*
Cuadernos de Desarrollo Rural, vol. 21, 2024
Pontificia Universidad Javeriana
Hernest-Adel Álvarez-Gómez a hernest.alvarez@hotmail.com
Universidad de Medellín, Colombia
Manuela Escobar-Sierra
Universidad de Medellín, Colombia
Jorge-Andrés Polanco
Universidad de Medellín, Colombia
Recibido: 23 agosto 2023
Aceptado: 25 octubre 2024
Publicado: 30 diciembre 2024
Resumen: La práctica de la evaluación de impacto de políticas públicas agrícolas experimenta un aumento, debido a que los organismos internacionales y la comunidad académica son cada vez más conscientes de la necesidad de mejorar las evidencias con las que se formulan y ajustan estas políticas. Sin embargo, la evaluación de impacto de las políticas agrícolas que se implementan en el marco del desarrollo rural sostenible debe basarse en un enfoque holístico y participativo. Por lo tanto, esta investigación busca conocer el estado actual de la discusión sobre las dimensiones que inciden en la evaluación de impacto de las políticas públicas agrícolas. Para lograr esto, en este artículo realiza una revisión sistemática de literatura, mediante un enfoque mixto secuencial, primero, cuantitativo, usando un análisis bibliométrico, y, segundo, cualitativo, con un análisis de contenido que utiliza las técnicas de PRISMA y de Snowball para definir la muestra de ochenta documentos. Los resultados muestran que las dimensiones que inciden en la evaluación de impacto de las políticas agrícolas son la social, la ambiental, la económica, la cultural y la institucional. Además, se vincula el desempeño de la gobernanza en la forma como se producen los efectos. La propuesta permite la estimación profunda de los impactos de una política agrícola. Las implicaciones teóricas giran en torno a que la sostenibilidad se debe comprender más allá de las tres dimensiones clásicas y abarca las dimensiones cultural e institucional. Asimismo, propone que la evaluación de una política integre los tres momentos de la evaluación. Se recomienda realizar la verificación empírica del modelo conceptual propuesto.
Palabras clave:evaluación de impacto, políticas públicas, desarrollo rural sostenible, gobernanza colaborativa.
Abstract: The practice of impact assessment of agricultural public policies is on the rise, as international organizations and the academic community are increasingly aware of the need to improve the evidence on which these policies are formulated and adjusted. However, the impact evaluation of agricultural policies implemented within the framework of sustainable rural development should be based on a holistic and participatory approach. Therefore, this research seeks to know the current state of the discussion on the dimensions that affect the impact evaluation of agricultural public policies. To achieve this, this article conducts a systematic literature review, using a sequential mixed approach, first, quantitative, through a bibliometric analysis, and, second, qualitative, with a content analysis using PRISMA and Snowball techniques to define the sample of eighty documents. The results show that the dimensions that affect the impact evaluation of agricultural policies are social, environmental, economic, cultural and institutional. In addition, governance performance is linked to the way in which the effects are produced. The proposal allows for an in-depth estimation of the impacts of an agricultural policy. The theoretical implications revolve around the fact that sustainability must be understood beyond the three classic dimensions and encompass the cultural and institutional dimensions. It also proposes that the evaluation of a policy should integrate the three moments of evaluation. Empirical verification of the proposed conceptual model is recommended.
Keywords: Impact Assessment, Public Policies, Sustainable Rural Development, Collaborative Governance.
Introducción
Una política pública agrícola (PPA) se entiende como las acciones, los acuerdos y los instrumentos que son el resultado de un proceso de decisiones adelantado por autoridades públicas con la participación de los particulares para solucionar o prevenir situaciones problemáticas (Velásquez, 2009). Las PPA orientadas al desarrollo rural sostenible (DRS) deben considerar del progreso material de las comunidades, el respeto a las capacidades y los anhelos de las personas, la conservación de los recursos naturales y los beneficios que se reciben de los ecosistemas (Loch et al., 2015). Es decir, los objetivos de una PPA, en el marco del DRS, se basan en aspectos como el crecimiento económico de las zonas rurales, la calidad de vida de los pobladores rurales y la conservación del medio ambiente (Pachón et al., 2016). Por lo tanto, una PPA tiene que promover la sostenibilidad agrícola que es socialmente justa, ecológica y económicamente viable (Schindler et al., 2015). Y, a su vez, la sostenibilidad agrícola apoya la formulación de políticas en la toma de decisiones (Schweier et al., 2019) y permite examinar los problemas ambientales relacionados con la utilización y el aprovechamiento del medioambiente (Janker et al., 2019). Finalmente, las PPA operan en un ambiente determinado que las define y al cual pretenden modificar o mantener (Velásquez, 2009). Es decir, toda PPA contiene una teoría de cambio social, en la medida en que perturba el curso natural de los acontecimientos en una sociedad (Meny y Thoenig, 1992).
Con el fin de rastrear esa teoría de cambio social, la evaluación de la PPA puede realizarse en tres momentos diferentes: 1) ex ante, 2) durante o continua y 3) ex post. 1) La evaluación ex ante determina los efectos que provocaría su implementación (Helming et al., 2011; Roth, 2009). 2) La evaluación durante o continua permite detectar los resultados y efectos provisionales conseguidos por los instrumentos utilizados (Wollman, 2016). 3) La evaluación ex post identifica y mide las consecuencias positivas o negativas, intencionales o no, producidas por la política (Ordóñez-Matamoros, 2013). Este tipo de evaluaciones generan conocimiento sobre qué tipo de programas crean resultados sustanciales, lo cual es crítico para los formuladores de las PPA (Fiszbein, 2006).
Justamente, la práctica de la evaluación de impacto (EI) de políticas experimenta un aumento, debido a que los organismos internacionales y la comunidad académica son cada vez más conscientes de la necesidad de mejorar las evidencias con las que se formulan y ajustan las políticas (Banco Mundial, 2004). Por ejemplo, en el ámbito de las PPA se rastrean efectos económicos de diferentes alternativas a nivel de granja y a nivel de mercado (Lhermie et al., 2018). También, políticas de desarrollo rural se evalúan para estimar los impactos ambientales en granjas orgánicas (Cisilino et al., 2019). Incluso, se cuantifican los impactos sociales y económicos de políticas que financian investigaciones para mejorar los cultivos de arroz (Jaijit et al., 2020). Para obtener estas evidencias, la EI cuantifica de manera científica la relación causal entre las PPA y las variables que esta busca afectar (Maris y Ortega, 2015).
En todo caso, la EI de PPA debe superar la preocupación tradicional del tamaño de los efectos y los grados de consecución de los objetivos, para alcanzar un enfoque de explicación basado en la teoría (Sanderson, 2002). Con este fin se presentan 1) la teoría de cambio, que explica cómo y por qué funciona una iniciativa (Alvarez et al., 2010; Weiss, 1995); y 2) la evaluación realista, que establece en qué contexto y para quién el programa es efectivo (Pawson y Tilley, 1997). Sin embargo, la experiencia en la materia dicta que la atribución de impactos a las intervenciones no se puede hacer con algún grado de rigor sin la realización de comparaciones controladas o contrafactuales (Castaño et al., 2019). En línea con este enfoque, la teoría de cambio aborda el problema de atribución con la construcción de un consenso amplio entre las partes interesadas sobre la causalidad de los efectos. En palabras de Alvarez et al. (2010, p. 947), “hacemos X porque creemos, aprovechando la experiencia pasada o lo que hemos leído, que Y sucederá”. Por su parte, la evaluación realista, antagónica a este enfoque contrafactual, prueba la relevancia de las teorías al rastrear los resultados de la implementación de una política específica en un contexto dado, para observar cómo se desencadenan los efectos. Y, una vez validada esta configuración de mecanismos generativos —política, contexto y efectos— con resultados prometedores, puede escalarse para lograr intervenciones efectivas en otros contextos (Pawson y Tilley, 1997). En las dos prácticas de evaluación, el evaluador refina y desarrolla teorías tentativas de qué funciona, para quién y en qué circunstancias (Blamey y Mackenzie, 2007).
Por último, la EI de las PPA que se implementan en el marco del DRS debe basarse en un enfoque holístico y participativo (Shepherd, 1998). Al respecto, Guzmán-León (2016) recomienda descubrir y argumentar otras dimensiones que pueden constituirse en relevantes a la hora de evaluar una PPA. Justamente, Duxbury et al. (2017) recomiendan evaluar las PPA vinculando variables culturales para medir los efectos en las prácticas culturales y los derechos de los grupos. Igualmente, Caffrey y Munro (2017) y Erbaugh et al. (2019) sostienen que se necesitan modelos de EI que integren la complejidad de las interacciones entre los múltiples agentes que participan en el ámbito de las PPA, es decir, vincular la gobernanza que contribuye a cómo se desarrollan las intervenciones.
Bajo este contexto, se plantea la siguiente pregunta de investigación: ¿cuál es el estado actual de la discusión sobre las dimensiones que inciden en la evaluación de impacto de las políticas públicas agrícolas? Este interrogante se aborda en la presente revisión con una metodología mixta secuencial. Comienza con un enfoque cuantitativo mediante un análisis bibliométrico y, luego, con un enfoque cualitativo en términos de análisis de contenido. El trabajo se estructura en seis secciones, la primera se compone de la presente introducción, en la segunda sección se explica el método, los datos y el análisis que se realiza. La tercera sección expone los resultados tanto del análisis bibliométrico como del análisis de contenido. En la cuarta y quinta secciones se plantean las discusiones con otros autores y las conclusiones del presente trabajo.
Metodología
Se utilizó un enfoque mixto secuencial que consistió en partir de los resultados del análisis bibliométrico para comprobarlos mediante un análisis de contenido y determinar otros constructos que mostraran relevancia o fueran emergentes. Utilizar enfoques tanto cuantitativos como cualitativos permite fortalecer y enriquecer el análisis y significado de la literatura consultada (Duriau et al., 2007). A continuación, se explica cada enfoque.
Enfoque cuantitativo
El análisis bibliométrico permite determinar la ocurrencia, concurrencia y la relación de los términos incluidos en la ecuación de búsqueda para inferir las categorías que se abordan en el estudio de una temática específica (Escobar-Sierra et al., 2018). Para obtener los términos de búsqueda se utilizó la técnica de Citation Pearl Growing —cultivo de perlas de citación— (Schlosser et al., 2006), la cual 1) parte de algunos estudios relevantes; 2) identifica las bases de datos en la que se indexan; 3) determina las palabras claves con las cuales se indexan; (4) encuentra otros documentos relevantes y les aplica los pasos 1 y 2, y 5) finaliza cuando los artículos recuperados proporcionan relevancia decreciente.
La ecuación de búsqueda que se ingresó en la base de datos Scopus fue la siguiente: (evaluation OR assessment OR analys* OR stud*) AND (public polic* OR govermen* polic* OR public politic*) AND (rural OR agrarian OR agricult*) AND (development OR growth OR sustainab*). La consulta se realizó el 11 de abril de 2019. De este proceso se obtuvieron 8177 registros. Estos se analizaron con el software VOSviewer® versión 1.6.8.
Enfoque cualitativo
La muestra documental se seleccionó aplicando la metodología PRISMA (Moher et al., 2009) a los 8177 registros incluidos en el análisis bibliométrico. Primero, se filtraron los registros aplicando la ecuación de búsqueda a los títulos. Segundo, se leyeron los resúmenes de los artículos obtenidos del paso anterior para verificar la pertinencia con el tema. De este proceso se obtuvieron 23 documentos. Con los cuales se usó la técnica conocida como “bola de nieve” (Mack et al., 2005), que considera las referencias de los artículos para encontrar otros elementos ocultos relevantes para enriquecer la muestra. Finalmente se obtuvieron 57 documentos más, para una muestra total de 80 elementos.
Una vez definida la muestra documental, los términos con mayor concurrencia de cada grupo (Tabla 1) se utilizaron como códigos en Atlas.ti® para identificar temas o familias preliminares. Luego, con la lectura de los documentos se crearon nuevos códigos que se asociaron a categorías predefinidas por el bibliométrico o emergentes. En total se utilizaron 150 códigos agrupados en 6 familias o categorías. Posteriormente, el análisis de contenido se llevó a cabo mediante el método implícito propuesto por Gioia et al. (2013), que consta de tres pasos: 1) identificar patrones comunes en los datos, 2) consolidar por temas o familias los patrones identificados y 3) definir dimensiones agregadas (Autor, 2015).
Resultados
A continuación, se presentan los hallazgos del análisis bibliométrico y del análisis de contenido.
Análisis bibliométrico
Los registros obtenidos de Scopus se ingresan al software VOSviewer® para medir la cantidad, desempeño y estructura de conexiones entre publicaciones, autores y áreas de investigación. Los términos con una ocurrencia entre 519 y 18 se relacionan en la tabla 1.
La figura 1 muestra el mapa de conocimiento sobre EI de políticas agrícolas con 1121 términos clasificados en 5 grupos interrelacionados. Estos se interpretan en 5 categorías de estudios para favorecer su comprensión. Los términos del grupo rojo se refieren a la gobernanza, los términos del grupo verde a la dimensión ambiental, los términos del grupo azul a la dimensión social, los términos del grupo amarillo a la dimensión económica y los términos del grupo morado al desarrollo rural sostenible.
Con los hallazgos del análisis bibliométrico se hace una propuesta preliminar de un modelo conceptual sobre EI de políticas agrícolas (Figura 2). En este, cada una de las dimensiones recibe impulsores en forma de incentivos, restricciones o intervenciones, que provienen de los diferentes instrumentos de las PPA (Cejudo y Michel, 2016; Kristensen, 2004). El impacto total de una PPA es la sumatoria de los impactos en cada una de las dimensiones (Emaides et al., 2018). Este impacto genera una adaptación en las preocupaciones y problemáticas del desarrollo rural sostenible. En torno a la PPA surgen incentivos que promueven la aparición de la gobernanza que, a través de los agentes y de sus intereses en conflicto, interactúan para incluir en la agenda las problemáticas más relevantes y diseñar nuevos instrumentos de políticas que crean nuevos impulsores, retroalimentando el ciclo (Kingdon, 2014; Vallès, 2007; Zurbriggen, 2011).
Nota. Los colores indican los mismos clústeres de la figura 1.
Este acercamiento a la discusión sobre las dimensiones que inciden en la EI de políticas agrícolas se amplía en la siguiente sección.
Análisis de contenido
En esta sección se analizaron en profundidad los resultados del bibliométrico y se obtuvieron dos dimensiones emergentes, a saber, la dimensión cultural y la dimensión institucional. La evaluación de impacto de sostenibilidad de políticas agrícolas es un hallazgo de la revisión que permite integrar los resultados. A continuación, se presentan los hallazgos en cada una de las dimensiones, la gobernanza colaborativa y la evaluación de impacto de sostenibilidad de políticas agrícolas.
Dimensión social
En la investigación y práctica de la EI social hay una preocupación por 1) definir la dimensión social en la sostenibilidad agrícola, 2) vincular la participación de las partes interesadas y 3) aplicar herramientas innovadoras para la recolección y análisis de datos.
Los temas recurrentes en la definición de la dimensión social giran en torno a las condiciones laborales, la calidad de vida y los impactos sociales (Janker y Mann, 2020); la búsqueda de igualdad de oportunidades y de participación abierta en la toma de decisiones (Yasar et al., 2015). También se usan constructos como equidad, conciencia para la sostenibilidad, participación y cohesión social (Murphy, 2012); salud, participación, satisfacción de los agricultores y resiliencia (Hou et al., 2018). En particular, la sostenibilidad de un sistema social agrícola se define en la medida en que se satisfacen las necesidades y los derechos de las personas (Janker et al., 2019). Sin embargo, Jones et al. (2019) argumentan que la dimensión social de la sostenibilidad es una construcción que debe incorporar las percepciones locales.
De hecho, estas percepciones particulares son un elemento crucial para alcanzar la sostenibilidad agrícola (Cosyns et al., 2013), pues cada actor social tiene trayectorias y valores personales que en consecuencia orientan sus decisiones (Silva y Piccin, 2022). Es más, la combinación de dos enfoques —comunidad y expertos— proporciona hallazgos sólidos sobre los impactos sociales. Aunque, se deben considerar las prácticas clientelistas que llevan a un proceso de intercambio político desigual (Sabourin, 2022).
Finalmente, las técnicas de recolección y análisis de datos en la práctica de la EI social buscan ser innovadoras. Por ejemplo, herramientas de gobierno electrónico (Arias et al., 2014) o el monitoreo de redes sociales y técnicas de mercadeo para detectar líderes de opinión y grupos de referencia (Androutsopoulou et al., 2015).
Dimensión ambiental
La investigación y práctica de la dimensión ambiental giran en torno a 1) definir la dimensión ambiental, 2) vincular la participación de las partes interesadas y 3) aplicar nuevas técnicas de análisis de datos.
La dimensión ambiental en la agricultura se define con categorías como la emisión de contaminantes, la minimización y el reciclaje de residuos (Ben et al., 2020); la adaptación al cambio climático, la prevención y la gestión del riesgo (Medeiros y Valente, 2023); el uso de energía, el uso del agua, el uso de la tierra (Hou et al., 2018); el uso de energía renovable y de la ecoeficiencia (Hristov et al., 2021). De hecho, la ecoeficiencia en la agricultura se ve afectada por la educación y conocimiento del administrador de la finca, el nivel de apoyo gubernamental, la cantidad de insumos y mano de obra y el nivel de mercantilización (Czyżewski et al., 2021). Por otra parte, los marcos conceptuales permiten adaptar los antecedentes, los objetivos y la comprensión de lo ambiental, así como guiar la evaluación sistémica de la sostenibilidad agrícola (Pham y Smith, 2014). Esta debe basarse en valores, creencias y experiencias con el medioambiente, el uso de la tierra y los ecosistemas (Bergtold et al., 2022).
Un reto para la EI ambiental es mejorar la participación de la comunidad y la satisfacción de los agricultores (Wang et al., 2022). Para esto, se plantean estrategias como la vigilancia comunitaria ambiental que mejoran la participación de las comunidades en los procesos de evaluación ambiental y una perspectiva de cocreación que beneficia a las PPA (O’Rourke y Macey, 2003). Finalmente, se recomienda considerar los conflictos armados que son basados en el uso de la tierra (Rossouw y Wiseman, 2004), pues estos pueden llegar a marginar, excluir o restringir a diferentes actores dentro de los procesos políticos (Rojas-Betancur, 2018).
Recientemente se utilizan nuevas técnicas de análisis de datos de las EI ambiental. Por ejemplo, Cisilino et al. (2019) estiman los impactos de políticas de subsidios a la agricultura orgánica mediante un enfoque contrafactual en una muestra de granjas con el método de emparejamiento no paramétrico y el estimador de diferencia en diferencia. La cual puede tener una certeza del 80 % sobre los impactos ambientales (Jensen, 2020).
Dimensión económica
La investigación y práctica de la dimensión económica giran en torno a 1) comprender el alcance de la EI económico en la agrícola, 2) vincular la participación de las partes interesadas y 3) aplicar nuevas técnicas de recolección y análisis de datos.
La práctica de la EI económica se centra en la estimación de los beneficios netos (Ogunsumi et al., 2007), beneficios sociales (Sangha et al., 2019), o el bienestar generado a las comunidades (Caurla et al., 2013). Sin embargo, Loch et al. (2015) sostienen que se debe medir la producción de externalidades, las cuales incluyen tanto las funciones ecológicas —secuestro de carbono, biodiversidad y ciclo de nutrientes—, como las funciones culturales —entretenimiento, preservación histórica y calidad visual—. Por su parte, Williams (2020) propone incluir los objetivos de desarrollo sostenible. Para esto, presenta un marco conceptual para la evaluación integral del impacto, con el cual, los resultados demuestran cómo el proyecto, el programa o la política ayuda o no, a la región o país a alcanzar los ODS. Mientras que Lhermie et al. (2018) recomiendan evaluar los beneficios y costos de distribución de las políticas entre los agricultores, los minoristas, los trabajadores de salud animal y humana, y el público.
En efecto, las actividades económicas, los diferentes intereses y perspectivas de las partes interesadas son un problema en el análisis de la PPA (Parra-López et al., 2008). Por lo que, Moraine et al. (2017) recomiendan no solo medir los indicadores con una rúbrica matemática, sino valorarlos desde los criterios de las partes interesadas. Por ejemplo, analizar las expectativas de los agricultores sobre los beneficios económicos, los factores psicosociales que impulsan a los agricultores al cambio (Otter y Deutsch, 2023); las percepciones del personal de la organización de desarrollo y los investigadores (Cosyns et al., 2013). En resumen, integrar un enfoque de EI clásico con uno basado en el sustento de las personas mejora la toma de decisiones hacia la sostenibilidad de los encargados de formular políticas, científicos, asesores agrícolas y agricultores.
Por último, las entrevistas estructuradas a agricultores y los modelos de ecuaciones estructurales (SEM) se utilizan para estimar los impactos económicos. Por ejemplo, Jaijit et al. (2020) argumentan que los indicadores de ajuste del modelo sugirieron que SEM puede aplicarse para investigar más a fondo los impactos de la PPA. Además, Kobashi et al. (2020) sugieren incluir indicadores de aspectos técnicos con implicaciones económicas relacionados con la agricultura.
Dimensiones emergentes que inciden en la evaluación de impacto de políticas agrícolas
Del análisis de contenido surgen dos categorías emergentes, a saber, la dimensión cultural y la dimensión institucional. Estas dos dimensiones amplían la estimación de los impactos de las PPA. Es importante apuntar que algunos artículos revisados en esta sección proponen indicadores que son compilados en una matriz como un conjunto de elementos que van a ser evaluados en cada dimensión. Por esto, al pie de algunas referencias bibliográficas aparece la expresión: “[#]”, la cual señala que es la fuente de los indicadores que componen la matriz.
Dimensión cultural
La investigación y práctica de la EI cultural giran en torno a 1) comprender lo que es la dimensión cultural en la sostenibilidad, 2) analizar el rol de la cultura para el desarrollo y 3) la construcción de metodologías capaces de guiar la medición de impactos culturales.
Para Duxbury et al. (2017), la cultura en la sostenibilidad puede ser entendida de tres formas, primero, como un pilar de la sostenibilidad; segundo, como una variable mediadora de los procesos de desarrollo sostenible, y, tercero, como un entorno en el que se debe dar la sostenibilidad —desarrollo culturalmente sostenible—. De igual manera, sostienen que las condiciones para un desarrollo culturalmente sostenible exigen una PPA que abarque, tanto las demandas comunitarias de bienestar no material, la equidad intergeneracional —la distribución y preservación de los recursos para las generaciones futuras— como la interdependencia de las variables económicas y culturales.
Es más, Meredith (1992) argumenta que los valores culturales y las aspiraciones locales deben ser incorporadas en cualquier visión de desarrollo. Igualmente, Ali (2013) sustenta que factores intersociales e intrasociales, como la cultura, la tradición y la economía, pueden aumentar la aceptabilidad de las políticas en una población local. Mientras que Wiktor-Mach (2020) plantea que la relación entre la cultura y el desarrollo sostenible se presenta muy compleja y que los académicos recién están prestando atención a este vínculo. Según este autor, se necesitan investigaciones empíricas que aborden el papel que desempeñan los valores, las normas y las prácticas sociales en el desarrollo.
En este sentido, Van den Hoogen (2014) [1] propone prácticas metodológicas como la observación participante, la investigación narrativa y la introspección guiada para medir los valores intrínsecos de las artes y la cultura. Por su parte, Newsinger y Green (2016) [2] plantean el uso de relatos narrativos en profundidad —centrados en los individuos como encarnaciones simbólicas de los impactos de las artes y la cultura—. En cambio, Haines-Young y Potschin (2013) [3] analiza las interacciones físicas e intelectuales con los entornos ambientales y su representación espiritual o simbólica, para evaluar el impacto cultural de las políticas de protección y promoción de los servicios ecosistémicos. De manera similar, Colavitti et al. (2018) [4] plantean la evaluación desde las características espirituales e históricas y las funciones educativas, científicas, estética, recreativas, culturales y artísticas.
Una vez revisadas las propuestas de diferentes autores, a continuación, en la tabla 2 se presenta la matriz de indicadores con los cuales se evalúa la dimensión cultural.
Una vez analizada la tabla 2 se resaltan los siguientes indicadores: interacciones físicas y experienciales; interacciones intelectuales y representativas; interacciones espirituales y/o emblemáticas; indicadores auxiliares sobre clima y uso de la tierra; nivel de calidad ambiental y ecológica, y dinámica en el uso del suelo.
Dimensión institucional
Las discusiones en la dimensión institucional giran en torno a 1) comprender lo que es la dimensión institucional en la sostenibilidad y su alcance, 2) su carácter crítico para la promoción del desarrollo, y 3) propuestas metodológicas para estimar los impactos.
Según Spangenberg (2007), [1] la dimensión institucional es un pilar de la sostenibilidad con objetivos propios, que apoya la consecución de los objetivos de las otras dimensiones, que enmarca todos los sistemas interpersonales de reglas que rigen la toma de decisiones y que comprenden organizaciones, mecanismos institucionales y orientaciones que fomentan u obstaculizan el desarrollo sostenible. Es más, las instituciones deben procurar transformaciones estructurales significativas en sectores críticos de medios de vida, como la agricultura, la agroindustria y el empleo rural (Devkota et al., 2022). Por lo que la sostenibilidad institucional se logra cuando las estructuras y los procesos existentes pueden realizar su función y contribuir positivamente a la sociedad a largo plazo (Yasar et al., 2015). Además, Pham y Smith (2014) reconocen que la capacidad de las instituciones para proporcionar bienes y servicios públicos es fundamental para el desempeño agrícola y la sostenibilidad.
De ahí que el entorno institucional se presenta como un componente crítico del desarrollo, pues en este se conciben, financian, implementan y administran las PPA (Brown, 1998; Cridland et al., 1995). En efecto, la EI institucional se basa en categorías como las estructuras y funciones administrativas, arreglos económicos y financieros, costumbres y valores históricos y tradicionales, así como en los participantes y actores claves (Cridland et al., 1995) [2]. Además, utiliza las normas, valores y prácticas que se establecen en el ámbito de los proyectos, programas y políticas y que permiten que la acción y los productos continúen más allá de la vida formal de las intervenciones (Johnson y Wilson, 2000) [3].
En cuanto a las propuestas metodológicas, primero, Pfahl (2005) [4] utiliza los criterios de transparencia, participación, capacidad de respuesta y capacidades de implementación de las instituciones mediante estudios de casos cualitativos para examinar en qué medida las instituciones tuvieron éxito en el logro de sus objetivos. Segundo, Musso y Esposito (2018) [5] proponen el modelo de análisis cualitativo —centrado en las acciones de los agentes—, para verificar si la intervención de política puede ser exitosa desde el punto de vista de sostenibilidad institucional, y, luego, analizar los tipos de acción que se implementarán para garantizar que el efecto de la política sea el esperado. Finalmente, Kajembe et al. (2016) [6] argumentan que los indicadores institucionales dependen de los objetivos del proyecto, programa o política que se evalúa, así como el contexto al que se aplican.
Una vez revisadas las propuestas de diferentes autores, a continuación, en la tabla 3 se presenta la matriz de indicadores con los cuales se evalúa la dimensión institucional.
Una vez analizada la tabla 3, solo tres indicadores presentan concurrencia: número de sistemas de crédito administrados localmente, acceso a estos sistemas de crédito y participación de las autoridades locales en el gasto público total.
Gobernanza colaborativa
Conviene señalar que la gobernanza colaborativa no es una dimensión o pilar de la sostenibilidad, sin embargo, el análisis bibliométrico sugiere que la gobernanza es un elemento central en la EI de políticas agrícolas.
La gobernanza colaborativa (GC) es definida por Emerson et al. (2012) como
los procesos y estructuras de toma de decisiones y gestión de políticas públicas que involucran a las personas de manera constructiva a través de los límites de las agencias públicas, los niveles de gobierno y / o las esferas pública, privada y cívica para llevar a cabo un propósito público que de otra manera no podría lograrse. (p. 2)
Para estudiar la GC, Emerson y Nabatchi (2015a) [1] implementan un marco integrador mediante estudios de casos y presentan algunos resultados. Primero, el inicio de la colaboración se da, entre otros, por las influencias políticas, legales, ambientales y socioeconómicas, las cuales se encuentran en el sistema contextual. Segundo, las interacciones de los agentes y sus recursos dan forma a la calidad y alcance de las dinámicas de colaboración. Tercero, las dinámicas y acciones de colaboración dan forma a la calidad general y al grado de desarrollo y eficacia de la GC. Y, cuarto, los impactos de una acción colaborativa afectan tanto a la GC como al sistema contextual generando una adaptación en ambos (Emerson y Nabatchi, 2015b) [2]. Es más, Koontz et al. (2019) afirman que, a pesar de la dificultad que supone medir el impacto sin un grupo de control, es posible no solo analizar los procesos, sino también los resultados e impactos de la colaboración.
Además, Ansell et al. (2017) plantean que los funcionarios, los usuarios objetivo y las partes interesadas tienen habilidades, recursos y poseen un conocimiento práctico que puede ayudar a los formuladores de las políticas y tomadores de decisiones a comprender mejor el problema y el contexto para diseñar mejores alternativas de solución. De hecho, los diseños e implementaciones con enfoque de abajo hacia arriba (Koontz y Newig, 2014) [3] y la coproducción de conocimiento en sostenibilidad (MacLeod et al., 2022) generan una mayor percepción de incidencia en los resultados y promueven el desarrollo de las comunidades rurales (Knieć y Goszczyński, 2022) [4]. De igual modo, la gobernanza centrada en la sostenibilidad permite moderar los impactos tanto negativos como positivos que genera la producción agrícola (Erbaugh et al., 2019; Omri y Ben, 2020). Por tanto, la GC se propone con un rol moderador en cada una de las dimensiones de la EI de políticas agrícolas.
Una vez revisadas las propuestas de diferentes autores, a continuación, en la tabla 4 se presenta la matriz de indicadores con los cuales se evalúa la gobernanza colaborativa.
De la tabla 4 se resalta de forma general el indicador de teoría causal de acción sólida y compartida entre los ejecutores, debido a que establece la forma en la que los colaboradores prevén que van a surgir los cambios y los impactos mediante la implementación de la alternativa seleccionada, lo cual compromete la actuación de cada actor junto con sus recursos para la consecución de estos objetivos.
Integrando los resultados
La figura 3 presenta el modelo conceptual de la evaluación de impacto de políticas públicas agrícolas en la sostenibilidad (EIPPAS). En este se integran los elementos obtenidos del análisis bibliométrico y del análisis de contenido. Esta propuesta permite considerar las dimensiones social, ambiental, económica, cultural e institucional como pilares de la sostenibilidad, y de la gobernanza colaborativa mediante un efecto moderador en cada dimensión. Además, los impactos de la PPA se miden en la sostenibilidad. Estos impactos generan una adaptación, una retroalimentación al ciclo de la política y el aprendizaje en múltiples niveles, por ejemplo, individual, organizacional, social y de aprendizaje de políticas (Emerson et al., 2012; Pope et al., 2017). El marco general en el que esto sucede es el DRS.
La EIPPAS permite integrar las dimensiones revisadas y dirigir la toma de decisiones hacia la sostenibilidad (Pope y Morrison-Saunders, 2004). Debido a que une los enfoques de las ciencias políticas y la ciencia de la sostenibilidad, especialmente, entre las PPA, el DRS y la sostenibilidad agrícola. También, es iterativa, reúne evidencias de calidad para verificar lo que funciona o no (Bond et al., 2012). No solo recibe retroalimentación confiable, relevante, innovadora enfocada a lograr la sostenibilidad agrícola, sino que también promueve la participación en los procesos de toma de decisión (Schindler et al., 2015).
La EIPPAS armoniza diferentes objetivos del DRS —relacionados con logros económicos, ambientales, sociales, culturales e institucionales— dentro del ciclo de las PPA (Ali, 2013). La EIPPAS observa un contexto en específico, sin desconocer los objetivos de sostenibilidad regionales y globales. Esto permite la gestión adecuada de las compensaciones que, además, se alcanza con la participación de las partes interesadas (Pope et al., 2017). De igual forma, mejora la práctica de la EI al centrar el enfoque metodológico en la medición de la sostenibilidad (Pope y Morrison-Saunders 2004).
Discusión
Esta revisión sistemática de literatura observa las recomendaciones de algunos autores y hace nuevas propuestas sobre las dimensiones que inciden en la evaluación de impacto de políticas agrícolas. Entre las sugerencias que atiende se encuentran las de 1) Guzmán-León (2016) de descubrir y argumentar nuevas dimensiones relevantes para la EI; la de 2) Duxbury et al. (2017) de evaluar las PPA vinculando variables culturales para medir los efectos en las prácticas culturales y los derechos de los grupos; 3) la de Caffrey y Munro (2017) y Erbaugh et al. (2019) de integrar la complejidad de las interacciones entre los múltiples agentes que participan en el ámbito de las PPA.
En cuanto a las nuevas propuestas de este trabajo sobre las dimensiones que inciden en la EI de políticas agrícolas, primero, se agrega la dimensión institucional como un pilar de la sostenibilidad; segundo, se propone vincular la dimensión cultural como un pilar de la sostenibilidad; tercero, se propone estudiar la incidencia del desempeño de la colaboración en la forma como se producen los efectos de una intervención, y, cuarto, se propone la evaluación de impacto de políticas públicas agrícolas en la sostenibilidad como un proceso que dirige la toma de decisiones hacia la sostenibilidad.
Conclusiones
Las dimensiones que inciden en la evaluación de impacto de políticas agrícolas son las dimensiones social, ambiental, económica, cultural e institucional. Asimismo, se debe estudiar la incidencia de la colaboración en la forma en que se producen los efectos. La dimensión cultural se define como las prácticas culturales y los derechos de los grupos; y la dimensión institucional enmarca todos los sistemas interpersonales de reglas que rigen la toma de decisiones y que comprenden organizaciones, mecanismos institucionales y orientaciones que fomentan u obstaculizan el desarrollo.
Las implicaciones teóricas de estos hallazgos son 1) que la sostenibilidad se debe comprender más allá de las tres dimensiones clásicas y transciende a las dimensiones cultural e institucional; 2) proponer la evaluación de una política en los tres momentos, más allá de evaluar en un solo momento; y 3) plantear un rol moderador de la colaboración sobre cada una de las dimensiones de la sostenibilidad.
Se resalta el uso del análisis bibliométrico sobre la evaluación de impacto de políticas públicas agrícolas para identificar las dimensiones y categorías de investigación. De este se obtuvo la gobernanza centrada en los actores y sus intereses en conflicto y tres dimensiones que pueden sintetizarse en social, ambiental y económica. Estos hallazgos se analizaron en profundidad en el análisis de discurso y se verificaron. Además, emergieron la dimensión cultural y la institucional, y se propuso un modelo conceptual como una alternativa para la investigación y práctica de la evaluación de impacto de políticas públicas agrícolas en la sostenibilidad.
La investigación futura requiere de un enfoque holístico en la EI de PPA enfocada a la sostenibilidad, por esto, se recomienda partir de la propuesta presentada y revisar en profundidad la integración de las cinco dimensiones y sus interrelaciones, pues estas se consideran un principio fundamental de la sostenibilidad. Además, la verificación empírica del modelo conceptual debe basarse en una metodología que permita (a) integrar las cinco dimensiones de sostenibilidad, (b) respetar sus interrelaciones, (c) involucrar a los interesados en cada paso del proceso de evaluación y (d) centrase en el intercambio y el aprendizaje en múltiples niveles.
Referencias
Ali, M. (2013). Sustainability Assessment: Context of Resource and Environmental Policy. Academic Press. https://doi.org/10.1016/b978-0-12-407196-4.00001-5
Alvarez, S., Douthwaite, B., Thiele, G., Mackay, R., Córdoba, D. y Tehelen, K. (2010). Participatory Impact Pathways Analysis: A Practical Method for Project Planning and Evaluation. Development in Practice, 20(8), 946-958. https://doi.org/10.1080/09614524.2010.513723
Androutsopoulou, A., Charalabidis y. y Loukis, E. N. (2015). Using Social Media Monitoring for Public Policy Making: An Evaluation. 9th Mediterranean Conference on Information Systems (MCIS).
Ansell, C., Sørensen, E. y Torfing, J. (2017). Improving Policy Implementation through Collaborative Policymaking. Policy and Politics, 45(3), 467-486. https://doi.org/10.1332/030557317X14972799760260
Arias, C. R., Serrano, J. E. y García, J. (2014). Evaluation of Social Public Policy: Department of Social Development in Honduras. 1st International Conference on EDemocracy and EGovernment, ICEDEG 2014.
Banco Mundial. (2004). Seguimiento y eEvaluación: instrumentos, métodos y enfoques. Autor.
Ben, R., Nithin, S. P., Pranav, K. y Jayasuryaa, J. (2020). Assessment of Environmental Sustainability for Promoting Green Materials and Practices. Materials Today: Proceedings.
Bergtold, J. S., Caldas, M. M., Ramsey, S. M., Sanderson, M. R., Granco, G. y Mather, M. E. (2022). The Gap between Experts, Farmers and Non-Farmers on Perceived Environmental Vulnerability and the Influence of Values and Beliefs. Journal of Environmental Management, 316, 115186. https://doi.org/10.1016/j.jenvman.2022.115186
Blamey, A. y Mackenzie, M. (2007). Theories of Change and Realistic Evaluation Peas in a Pod or Apples and Oranges? Evaluation, 13(4), 439-455. https://doi.org/10.1177/1356389007082129
Bond, A., Morrison-Saunders, A. y Pope, J. (2012). Sustainability Assessment: The State of the Art. Impact Assessment and Project Appraisal, 30(1), 53-62. https://doi.org/10.1080/14615517.2012.661974
Brown, D. (1998). Evaluating Institutional Sustainability in Development Programmes: Beyond Dollars and Cents. Journal of International Development, 10(1), 55-69. https://doi.org/https://doi.org/10.1002/(SICI)1099-1328(199801)10:1%3C55::AID-JID452%3E3.0.CO;2-W
Caffrey, L. y Munro, E. (2017). A Systems Approach to Policy Evaluation. Evaluation, 23(4), 463-478. https://doi.org/10.1177/1356389017730727
Castaño, J., Blanco, M. y Martínez, P. (2019). Reviewing Counterfactual Analyses to Assess Impacts of EU Rural Development Programmes: What Lessons Can Be Learned from the 2007-2013 Ex-Post Evaluations? Sustainability (Switzerland), 11(4), 1-22. https://doi.org/10.3390/su11041105
Caurla, S., Delacote, P., Lecocq, F. y Barkaoui, A. (2013). Stimulating Fuelwood Consumption through Public Policies: An Assessment of Economic and Resource Impacts Based on the French Forest Sector Model. Energy Policy, 63(2013), 338-347. https://doi.org/10.1016/j.enpol.2013.07.111
Cejudo, G. M. y Michel, C. L. (2016). Coherencia y políticas públicas: metas, instrumentos y poblaciones objetivo. Gestión y Política Pública, 25(1), 03-31. http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1405-10792016000100001
Cisilino, F., Bodini, A. y Zanoli, A. (2019). Rural Development Programs’ Impact on Environment: An Ex-Post Evaluation of Organic Faming. Land Use Policy, 85, 454-462. https://doi.org/10.1016/j.landusepol.2019.04.016
Colavitti, A., Usai, A. y Serra, S. (2018). Towards an Integrated Assessment of the Cultural Ecosystem Services in the Policy-Making for Urban Ecosystems: Lessons from the Spatial and Economic Planning for Landscape and Cultural Heritage in Tuscany and Apulia (IT). Planning Practice and Research, 33(4), 441-473. https://doi.org/10.1080/02697459.2018.1510275
Cosyns, H., Damme, P. Van y Wulf, R. De. (2013). Who views What? Impact Assessment through the Eyes of Farmers, Development Organization Staff and Researchers. International Journal of Sustainable Development and World Ecology, 20(4), 287-301. https://doi.org/10.1080/13504509.2013.806372
Cridland, W., Adeniyi, P., Bullock, R. y Mitchell, B. (1995). Sustainable Rural Development in Sokoto State, Nigeria: An Assessment of Institutional Arrangements And Management Practices. Natural Resources Forum, 19(3), 203-214. https://doi.org/10.1111/j.1477-8947.1995.tb00610.x
Czyżewski, B., Matuszczak, A., Grzelak, A., Guth, M. y Majchrzak, A. (2021). Environmental Sustainable Value in Agriculture Revisited: How does Common Agricultural Policy Contribute to Eco-Efficiency? Sustainability Science, 16(1), 137-152. https://doi.org/10.1007/s11625-020-00834-6
Devkota, R., Pant, L. P., Hambly Odame, H., Rai Paudyal, B. y Bronson, K. (2022). Rethinking Gender Mainstreaming in Agricultural Innovation Policy in Nepal: A Critical Gender Analysis. Agriculture and Human Values, 39(4), 1373-1390. https://doi.org/10.1007/s10460-022-10326-1
Duriau, V. J., Reger, R. K. y Pfarrer, M. D. (2007). A Content Analysis of the Content Analysis Literature in Organization Studies: Research Themes, Data Sources, and Methodological Refinements. Organizational Research Methods, 10(1), 5-34. https://doi.org/10.1177/1094428106289252
Duxbury, N., Kangas, A. y De Beukelaer, C. (2017). Cultural policies for Sustainable Development: Four Strategic Paths. International Journal of Cultural Policy, 23(2), 214-230. https://doi.org/10.1080/10286632.2017.1280789
Emaides, A., Salerno, M. L. y Paredes, M. D. (2018). Políticas públicas para el desarrollo sustentable: indicadores de gestión ambiental. InterNaciones, 5(13), 131-158. https://doi.org/10.32870/in.v5i13.7069
Emerson, K. y Nabatchi, T. (2015a). Collaborative Governance Regimes (1.era ed.). Georgetown University Press.
Emerson, K. y Nabatchi, T. (2015b). Evaluating the Productivity of Collaborative Governance Regimes : A Performance Matrix. Public Performance & Management Review, 38(4), 717-747. https://doi.org/10.1080/15309576.2015.1031016
Emerson, K., Nabatchi, T. y Balogh, S. (2012). An Integrative Framework for Collaborative Governance. Journal of Public Administration Research and Theory, 22(1), 1-29. https://doi.org/10.1093/jopart/mur011
Erbaugh, J., Bierbaum, R., Castilleja, G., Da Fonseca, G. A. B., Cole, S. y Hansen, B. (2019). Toward Sustainable Agriculture in the Tropics. World Development, 121, 158-162. https://doi.org/10.1016/j.worlddev.2019.05.002
Escobar-Sierra, M., Valencia-DeLara, P. y Vera-Acevedo, L. (2018). A New Corporate Entrepreneurship Knowledge Schema as a Research Field. Academy of Entrepreneurship Journal, 24(4), 1-13. https://www.abacademies.org/articles/a-new-corporate-entrepreneurship-knowledge-schema-as-a-research-field-7600.html
Fiszbein, A. (2006). Development Impact Evaluation: New Trends and Challenges. Evidence and Policy, 2(3), 385-393. https://doi.org/10.1332/174426406778023702
Gioia, D. A., Corley, K. G. y Hamilton, A. L. (2013). Seeking Qualitative Rigor in Inductive Research. Organizational Research Methods, 16(1), 15-31. https://doi.org/10.1177/1094428112452151
Guzmán-León, A. (2016). Comparar para construir política pública en tiempos de globalización. Revista Iberoamericana de Educación Superior, 7(20), 135-156. http://www.redalyc.org/articulo.oa?id=299147630008
Haines-Young, R. y Potschin, M. (2013). Common International Classification of Ecosystem Services (CICES): Consultation on Version 4, August-December 2012. Centre for Environmental Management.
Helming, K., Diehl, K., Bach, H., Dilly, O., König, B., Kuhlman, T., Pérez, M., Sieber, S., Tabbush, P., Tscherning, K., Wascher, D. y Wiggering, H. (2011). Ex Ante Impact Assessment of Policies Affecting Land Use, Part A: Analytical Framework. Ecology and Society, 16(1), 1-17. https://www.jstor.org/stable/26268842
Hou, D., Ding, Z., Li, G., Wu, L., Hu, P., Guo, G., Wang, X., Ma y., O’Connor, D. y Wang, X. (2018). A Sustainability Assessment Framework for Agricultural Land Remediation in China. Land Degradation and Development, 29(4), 1005-1018. https://doi.org/https://doi.org/10.1002/ldr.2748
Hristov, I., Appolloni, A., Chirico, A. y Cheng, W. (2021). The Role of the Environmental Dimension in the Performance Management System: A Systematic Review and Conceptual Framework. Journal of Cleaner Production, 293, 126075. https://doi.org/10.1016/j.jclepro.2021.126075
Jaijit, S., Paoprasert, N. y Pichitlamken, J. (2020). Economic and Social Impact Assessment of Rice Research Funding in Thailand Using the Structural Equation Modeling Technique. Kasetsart Journal of Social Sciences, 41(1), 187-193. https://doi.org/10.1016/j.kjss.2018.06.002
Janker, J. y Mann, S. (2020). Understanding the Social Dimension of Sustainability in Agriculture: A Critical Review of Sustainability Assessment Tools. Environment, Development and Sustainability, 22, 1671-1691. https://doi.org/10.1007/s10668-018-0282-0
Janker, J., Mann, S. y Rist, S. (2019). Social Sustainability in agriculture - A System-Based Framework. Journal of Rural Studies, 65, 32-42. https://doi.org/10.1016/j.jrurstud.2018.12.010
Jensen, P. H. (2020). Experiments and Evaluation of Public Policies: Methods, Implementation, and Challenges. Australian Journal of Public Administration, 79(2), 259-268. https://doi.org/10.1111/1467-8500.12406
Johnson, H. y Wilson, G. (2000). Institutional Sustainability: “Community” and Waste Management in Zimbabwe. Futures, 32(3), 301-316. https://doi.org/https://doi.org/10.1016/S0016-3287(99)00099-3
Jones, N., Malesios, C., Aloupi, M., Proikaki, M., Tsalis, T., Chatziantoniou, M., Dimitrakopoulos, P., Skouloudis, A., Holtvoeth, J., Nikolaou, I., Stasinakis, A., Kalantzi, O., Gatidou, G., Zkeri, E., Koulousaris, M. y Evangelinos, K. I. (2019). Exploring the Role of Local Community Perceptions in Sustainability Measurements. International Journal of Sustainable Development and World Ecology, 26(6), 471-483. https://doi.org/10.1080/13504509.2019.1638330
Kajembe, G., Vedeld, P., Babili, I. H., Silayo, D. S. y Mosha, D. B. (2016). Institutional Sustainability in the Face of Climate Change: Empirical Insights from Irrigation Institutions in the Iringa Rural District, Tanzania. En Climate Change and Multi-Dimensional Sustainability in African Agriculture: Climate Change and Sustainability in Agriculture (pp. 23-41). Springer International Publishing. https://doi.org/10.1007/978-3-319-41238-2_3
Kingdon, J. W. (2014). Agendas, Alternatives, and Public Policies (2.. ed.). Pearson Education Limited. https://doi.org/10.2307/2150882
Knieć, W. y Goszczyński, W. (2022). Local Horizons of Governance. Social Conditions for Good Governance in Rural Development in Poland. European Countryside, 14(1), 27-50. https://doi.org/10.2478/euco-2022-0002
Kobashi, T., Say, K., Wang, J., Yarime, M., Wang, D., Yoshida, T. y Yamagata, Y. (2020). Techno-Economic Assessment of Photovoltaics Plus Electric Vehicles towards Household-Sector Decarbonization in Kyoto and Shenzhen by the Year 2030. Journal of Cleaner Production, 253, 1-17. https://doi.org/10.1016/j.jclepro.2019.119933
Koontz, T. M. y Newig, J. (2014). From Planning to Implementation: Top-Down and Bottom-Up Approaches for Collaborative Watershed Management. Policy Studies Journal, 42(3), 416-442. https://doi.org/10.1111/psj.12067
Koontz, T. M., Jager, N. W. y Newig, J. (2019). Assessing Collaborative Conservation: A Case Survey of Output, Outcome, and Impact Measures Used in the Empirical Literature. Society and Natural Resources, 33(4), 442-461. https://doi.org/10.1080/08941920.2019.1583397
Kristensen, P. (2004). The DPSIR Framework. National Environmental Research Institute, Denmark.
Lhermie, G., Tauer, L. W. y Gröhn, Y. T. (2018). An Assessment of the Economic Costs to the U.S. Dairy Market of Antimicrobial Use Restrictions. Preventive Veterinary Medicine, 160, 63-67. https://doi.org/10.1016/j.prevetmed.2018.09.028
Loch, C., Rebollar, P., Zanardo, Y. y Walkoski, M. (2015). Landscape Multifuncionality Evaluation as a Subsidy to Public Policies for Sustainable Rural Development. Ciência Rural, 45(1), 171-177. https://doi.org/10.1590/0103-8478cr20131087
Mack, N., Woodsong, C., MacQueen, K., Guest, G. y Namey, E. (2005). Qualitative research Methods: A Data Collector’s Field Guide. Family Health International.
MacLeod, C. J., Brandt, A. J., Collins, K. y Dicks, L. V. (2022). Giving Stakeholders a Voice in Governance: Biodiversity Priorities for New Zealand’s Agriculture. People and Nature, 4(2), 330-350. https://doi.org/10.1002/PAN3.10285
Maris, L. y Ortega, D. (2015). Políticas Públicas, Aprendizaje y Gestión. En Corporación Andina de Fomento (CAF) (ed.), Un Estado más efectivo. Capacidades para el diseño, la implementación y el aprendizaje de políticas públicas (p. 244). Corporación Andina de Fomento (CAF).
Medeiros, E. y Valente, B. (2023). Assessing Impacts of Public Policies towards Environmental Sustainability in an EU Region: North of Portugal. European Planning Studies, 1-20. https://doi.org/10.1080/09654313.2023.2169068
Meny, Y. y Thoenig, J.-C. (1992). Las políticas públicas (1.. ed.). Editorial Ariel.
Meredith, T. C. (1992). Environmental Impact Assessment, Cultural Diversity, and Sustainable Rural Development. Environmental Impact Assessment Review, 12(1-2), 125-138. https://doi.org/10.1016/0195-9255(92)90008-L
Moher, D., Liberati, A., Tetzlaff, J., Altman, D. y Prisma Group. (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. Annals of Internal Medicine, 151(4), 264-269. https://doi.org/10.1371/journal.pmed.1000097
Moraine, M., Mélac, P., Ryschawy, J., Duru, M. y Therond, O. (2017). A Participatory Method for the Design and Integrated Assessment of Crop-Livestock Systems In Farmers’ Groups. Ecological Indicators, 72, 340-351. https://doi.org/10.1016/j.ecolind.2016.08.012
Murphy, K. (2012). The social pillar of sustainable development: A literature review and framework for policy analysis. Sustainability: Science, Practice, and Policy, 8(1), 15-29. https://doi.org/10.1080/15487733.2012.11908081
Musso, F. y Esposito, G. F. (2018). Industrial Policies and Institutional Sustainability. The Case of Inner Areas in Italy. En R. Orăștean, C. Ogrean y S. Mărginean (eds.), Innovative Business Development - A Global Perspective (pp. 219-239). Springer International Publishing. https://doi.org/10.1007/978-3-030-01878-8_19
Newsinger, J. y Green, W. (2016). The Infrapolitics of Cultural Value: Cultural Policy, Evaluation and the Marginalisation of Practitioner Perspectives. Journal of Cultural Economy, 9(4), 382-395. https://doi.org/10.1080/17530350.2016.1141791
O’Rourke, D. y Macey, G. P. (2003). Community Environmental Policing: Assessing New Strategies of Public Participation in Environmental Regulation. Journal of Policy Analysis and Management, 22(3), 383-414.
Ogunsumi, L., Adegbite, A. y Oyekan, P. O. (2007). Economic Impact Assessment for Technology: The Case of Improved Soybean Varieties in Southwest Nigeria. Journal of Agriculture and Rural Development in the Tropics and Subtropics, 108(1), 79-86.
Omri, A. y Ben, N. (2020). Good Governance for Sustainable Development Goals: Getting Ahead of the Pack or Falling Behind? Environmental Impact Assessment Review, 83, 106388. https://doi.org/https://doi.org/10.1016/j.eiar.2020.106388
Ordóñez-Matamoros, G. (2013). Manual de análisis y diseño de políticas públicas. Universidad Externado de Colombia.
Otter, V. y Deutsch, M. (2023). Did Policy Lose Sight of the Wood for the Trees? An UTAUT-Based Partial Least Squares Estimation of Farmers Acceptance of Innovative Sustainable Land Use Systems. Land Use Policy, 126, 106467. https://doi.org/10.1016/j.landusepol.2022.106467
Pachón, F., Bokelmann, W. y Ramírez, C. (2016). Participatory Impact Assessment of Public Policies on Rural Development in Colombia and Mexico. Cuadernos de Desarrollo Rural, 13(78), 143-182.
Parra-López, C., Calatrava-Requena, J. y De-Haro-Giménez, T. (2008). A Systemic Comparative Assessment of the Multifunctional Performance of Alternative Olive Systems in Spain within an AHP-Extended Framework. Ecological Economics, 64(4), 820-834.
Pawson, R. y Tilley, N. (1997). Realistic Evaluation. Sage Publications.
Pfahl, S. (2005). Institutional Sustainability. International Journal of Sustainable Development, 8(1-2), 80-96. https://doi.org/10.1504/ijsd.2005.007376
Pham, L. Van y Smith, C. (2014). Drivers of Agricultural Sustainability in Development Countries: A Review. Environment Systems and Decisions, 34, 326-341. https://doi.org/10.1007/s10669-014-9494-5
Pope, J. y Morrison-Saunders, A. (2004). Conceptualisation of Sustainability Assessment. Environmental Impact Assessment Review, 24(6), 595-616. https://doi.org/https://doi.org/10.1016/j.eiar.2004.03.001
Pope, J., Bond, A., Hugé, J. y Morrison-Saunders, A. (2017). Reconceptualising Sustainability Assessment. Environmental Impact Assessment Review, 62, 205-215. https://doi.org/10.1016/j.eiar.2016.11.002
Rojas-Betancur, M. (2018). Caracterización del sistema político colombiano. Estructura inestable, proceso restrictivo/estable y resultados políticos bajos. Opción, 18, 2127-2154. https://produccioncientificaluz.org/index.php/opcion/article/view/24008
Rossouw, N. y Wiseman, K. (2004). Learning from the Implementation of Environmental Public Policy Instruments after the First Ten Years of Democracy in South Africa. Impact Assessment and Project Appraisal, 22(2), 131-140. https://doi.org/10.3152/147154604781766012
Roth, A.-N. (2009). Políticas públicas: formulación, implementación y evaluación (6.. ed.). Ediciones Aurora.
Sabourin, E. (2022). Public Policies for Sustainable Territorial Development in Brazil: Between Clientelism and Participation. Sustainability (Switzerland), 14(5), 3058. https://doi.org/10.3390/su14053058
Sanderson, I. (2002). Evaluation, Policy Learning and Evidence-Based Policy Making. Public Administration, 80(1), 1-22. https://doi.org/10.1111/1467-9299.00292
Sangha, K. K., Stoeckl, N., Crossman, N. y Costanza, R. (2019). A State-Wide Economic Assessment of Coastal and Marine Ecosystem Services to Inform Sustainable Development Policies in the Northern Territory, Australia. Marine Policy, 107, 1-10. https://doi.org/10.1016/j.marpol.2019.103595
Schindler, J., Graef, F. y König, H. J. (2015). Methods to Assess Farming Sustainability in Developing Countries. A Review. Agronomy for Sustainable Development, 35(3), 1043-1057. https://doi.org/10.1007/s13593-015-0305-2
Schlosser, R. W., Wendt, O., Bhavnani, S. y Nail-Chiwetalu, B. (2006). Use of Information-Seeking Strategies for Developing Systematic Reviews and Engaging in Evidence-Based Practice: The Application of Traditional and Comprehensive Pearl Growing. A Review. International Journal of Language & Communication Disorders, 41(5), 567-582. https://doi.org/10.1080/13682820600742190
Schweier, J., Magagnotti, N., Labelle, E. y Athanassiadis, D. (2019). Sustainability Impact Assessment of Forest Operations: a Review. Current Forestry Reports, 5, 101-113. https://doi.org/10.1007/s40725-019-00091-6
Shepherd, A. (1998). Sustainable Rural Development. Macmillan Education UK. https://doi.org/10.1007/978-1-349-26211-3
Silva, T. L. da y Piccin, M. B. (2022). a Construção de consensos no Fórum de Comunidades de Política Pública do Território Rural Vale do Rio Pardo Rs. Revista Brasileira de Gestão e Desenvolvimento Regional, 18(3), 317-329. https://doi.org/10.54399/rbgdr.v18i3.5025
Spangenberg, J. H. (2007). The Institutional Dimension of Sustainable Development. En T. Hák, B. Moldan y A. Dahl (eds.), Sustainability Indicators: A Scientific Assessment (p. 440). Island Press.
Vallès, J. (2007). Ciencia política. Una introducción (6.. ed.). Editorial Ariel.
Van den Hoogen, Q. L. (2014). New Local Cultural Policy Evaluation Methods in the Netherlands: Status and Perspectives. International Journal of Cultural Policy, 20(5), 613-636. https://doi.org/10.1080/10286632.2013.871005
Velásquez, R. (2009). Hacia una nueva definición del concepto “política pública.”. Desafíos, 20(20), 149-187.
Wang, Z. , Liu, Q. , Hou, B., Wang, Z., Liu, Q. y Hou, B. (2022). How Does Government Information Service Quality Influence Public Environmental Awareness? International Journal of Environmental Research and Public Health, 20(1), 177. https://doi.org/10.3390/IJERPH20010177
Weiss, C. (1995). Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families. En J. Connell (ed.), New Approaches to Evaluating Community Initiatives: Concepts, Methods, and Contexts (pp. 65-92). Aspen Institute.
Wiktor-Mach, D. (2020). What Role for Culture in the Age of Sustainable Development? UNESCO’s Advocacy in the 2030 Agenda Negotiations. International Journal of Cultural Policy, 26(3), 312-327. https://doi.org/10.1080/10286632.2018.1534841
Williams, G. (2020). Future Potential of Economic Impact Assessment. Impact Assessment and Project Appraisal, 38(4), 272-277. https://doi.org/10.1080/14615517.2019.1684097
Wollman, H. (2016). Utilization of Evaluation Results in Policy-Making and Administration: A Challenge to Political Science Research. Evaluation Studies, 16(3), 433-458. https://doi.org/10.31297/hkju.16.3.8
Yasar, M., Siwar, C. y Firdaus, R. (2015). Assessing Paddy Farming Sustainability in the Northern Terengganu Integrated Agricultural Development Area (IADA KETARA): A Structural Equation Modelling Approach. PacificScience Review B: Humanities and Social Sciences, 1, 71-75. https://doi.org/10.1016/j.psrb.2016.05.001
Zurbriggen, C. (2011). Gobernanza: una mirada desde América Latina. Perfiles Latinoamericanos, 19(38), 39-64. https://doi.org/10.2307/j.ctvckq9gz.4
Notas
*
Artículo de investigación
Origen de esta
investigación
Artículo
derivado de una investigación doctoral. Grupo de Investigación en Cultura y
Gestión Organizacional de la Universidad de Medellín.
Notas de autor
a Autor de correspondencia. Correo electrónico: hernest.alvarez@hotmail.com
Información adicional
Cómo citar este
artículo: Álvarez-Gómez, H.-A., Escobar-Sierra, M. y Polanco, J.-A. (2024).
Evaluación de impacto de políticas públicas agrícolas: una revisión sistemática
de literatura. Cuadernos de Desarrollo
Rural, 21. https://doi.org/10.11144/Javeriana.cdr21.eipp