acerca de las recientes experiencias de evaluacion de
Transcripción
acerca de las recientes experiencias de evaluacion de
ACERCA DE LAS RECIENTES EXPERIENCIAS DE EVALUACION DE PROGRAMAS DE DESARROLLO RURAL EN MEXICO Aníbal Quispe L. (1) INTRODUCCION En un mundo de globalización y de transformación institucional por un lado, y de agudización de la pobreza rural por el otro, la evaluación ha venido cobrando creciente y significativa importancia en la agenda institucional a nivel mundial, particularmente en América Latina y El Caribe (Risco 1996). En el caso de México, esto no ha sido diferente. Sin embargo, aún es escasa la información sobre experiencias de evaluación que permitan conocer metodologías, resultados e impactos, y que posibiliten asimismo, determinar el papel que la evaluación ha venido jugando en los esfuerzos para reducir la pobreza rural. En el marco de la política de modernización administrativa para el desarrollo, el gobierno mexicano ha introducido la evaluación como uno de sus componentes estratégicos. Específicamente, en el ámbito del sector agrícola y desarrollo rural, la presencia de la evaluación ha sido notoria, como es en los casos de los programas de Alianza para el Campo: Sistema Nacional de Capacitación y Extensión Rural Integral (SINDER), Programa Elemental de Asistencia Técnica para apoyar la producción de granos básicos (PEAT), Programa de Equipamiento Rural (PER), entre otros. En la mayoría de los proyectos desarrollados por organizaciones no gubernamentales, la evaluación también ha tenido importante presencia. No sólo en el discurso oficial se ha señalado la importancia de la evaluación; en la práctica se han venido realizando, evaluaciones tanto internas como externas. Sin embargo, sus enfoques, procesos, métodos, resultados; y asimismo, el uso de estos resultados para la toma de decisiones así como la significancia de los procesos evaluativos para superar la pobreza rural, son aún desconocidos. Con el propósito de entender las dimensiones de estas nuevas experiencias de evaluación en esta parte de la región, y de estimar su papel en los esfuerzos para el combate a la pobreza rural, se desarrolló una investigación. Los hallazgos de la primera fase de esta investigación, se presentan en este trabajo. Este contiene básicamente los resultados de una encuesta nacional a representantes de proyectos productivos "exitosos" del ámbito rural. El estudio demostró que: a) la evaluación no es visualizada como necesaria e importante por una gran parte de los involucrados en proyectos de desarrollo rural; b) la evaluación no estuvo presente en algunos proyectos; c) en los proyectos donde se practicaron evaluaciones, los resultados de éstas pocas veces fueron comunicados a los interesados. La información quedó, en la mayor parte de los casos, a nivel de cúpula; d) escasos fueron los casos en que se usaron los resultados de la evaluación para la toma de decisiones; e) la mitad de los proyectos estudiados, no consideró una partida presupuestal para la evaluación; f) las evaluaciones estuvieron más orientadas a determinar resultados que a explicar procesos; g) en la mayoría de los casos, la evaluación se hizo para cumplir exigencias desde fuera; no surgió, por tanto, de las necesidades del proyecto; h) en muy baja proporción los encuestados manifestaron enfrentar problemas para la evaluación de sus proyectos. El bajo porcentaje que afirmó enfrentar limitaciones, señaló problemas de orden metodológico y de desaprovechamiento de los resultados de la evaluación; i) finalmente, una proporción importante de representantes de los proyectos, mostró interés por capacitarse en aspectos de evaluación. OBJETIVOS El propósito de la investigación, fue analizar la función de la evaluación en las acciones para el alivio de la pobreza rural en México. Los objetivos específicos propuestos fueron: 1) Determinar la presencia y significancia de la evaluación en los proyectos de desarrollo rural; y 2) Determinar las fortalezas y debilidades de la evaluación en los esfuerzos para el combate de la pobreza rural: capacidades para la evaluación, enfoques empleados, métodos y técnicas, uso de la información, dificultades y necesidades percibidas. METODOLOGIA La investigación se desarrolló utilizando el método descriptivo analítico a través de encuestas. Los datos fueron obtenidos de los representantes de proyectos productivos "exitosos" que participaron en la II Reunión Nacional sobre Desarrollo Rural Sustentable, de la Red Nacional de Proyectos de Desarrollo Rural Sustentable. Esta Reunión fue celebrada en diciembre de 1997, en el Colegio de Postgraduados en Ciencias Agrícolas, sito en Montecillo, Estado de México. La encuesta se aplicó a los representantes de cada uno de los 56 proyectos asistentes a la referida reunión. Sin embargo, sólo 30 cuestionarios fueron devueltos debidamente completados. El cuestionario incluyó 20 preguntas (cerradas con opciones dirigidas y abiertas), orientadas a obtener información sobre la práctica y la importancia de la evaluación en el marco de los proyectos. Los cuestionarios fueron entregados directamente a los representantes de los proyectos participantes para así garantizar que las preguntas serían respondidas por ellos. En la primera fase de este estudio, se empleo básicamente la técnica de la encuesta. Sin embargo, para una posterior etapa se contempla la utilización de estudios de caso y técnicas participativas. Esto con la finalidad de conocer, en mayor detalle, la práctica de la evaluación y su papel al interior de cada proyecto. La información obtenida se procesó en StatView Student para Macintosh y los análisis estadísticos fueron realizados con este mismo paquete. Para la interpretación y discusión de los datos, se complementó la información obtenida con observaciones directas y con experiencias vivenciales. La información complementaria fue recopilada a través de seis trabajos de evaluación efectuados a proyectos conducidos por organismos gubernamentales y no gubernamentales. LIMITACIONES La principal limitante de este estudio es que la encuesta fue aplicada a un grupo que no fue seleccionado a través de un proceso de muestreo. Sin embargo, la información obtenida se considera relevante para fines del estudio. Esto en la medida en que la muestra estuvo conformada por representantes de 56 proyectos seleccionados como los más destacados, dentro de un universo de 342, pertenecientes a las 32 entidades federativas del país. RESULTADOS Características generales de los proyectos Del total de los proyectos estudiados, el 80.0% indicó como principal actividad la producción agropecuaria, el 10.0% los servicios, el 6.7% el comercio y el 3.3% restante actividades no precisadas. En cuanto a la figura jurídica de las organizaciones campesinas que operaban los proyectos, la encuesta arrojó los siguientes resultados: el 33.3% estuvo pertenecía a sociedades de solidaridad social (SSS); el 26.7% a sociedades de producción rural (SPR), el 13.3% a microempresas familiares; el 10.0% a cooperativas de producción; el 6.7% a uniones de ejido y el 10.0% restante, a varias otras figuras jurídicas no identificadas. Respecto al tiempo que venían operando los proyectos, el promedio obtenido fue de 3.5 años, con un mínimo de 1 y un máximo de 15. La mayoría indicó un tiempo de operación de entre 3 a 4 años (Cuadro 1). Cabe señalar que el tiempo de existencia de los proyectos en varios casos, fue coincidente con el de las organizaciones ejecutoras o beneficiarias. Esto indica que varias de las organizaciones surgieron al mismo tiempo que sus proyectos. Cuadro 1. Frecuencia y Porcentaje de Proyectos según el Tiempo de Operación en Años Tiempo de operación de Frecuencia Porcentaje los proyectos en (años) 2.0 o menos 10 33.3 de 2.1 a 4.0 10 33.3 de 4.1 a 6.0 6 20.0 6.0 ó más 4 13.4 TOTAL 30 100.0 En relación con el financiamiento, el 70.0% de los proyectos contó con apoyo externo. El 30.0% restante, dispuso de recursos financieros provenientes de la propia organización. De los proyectos con financiamiento externo, el 50.0% recibió apoyo del gobierno federal o estatal mientras que el 20.0% restante obtuvo recursos provenientes de organismos filantrópicos nacionales o internacionales. Sin embargo, cierto número de estas últimas había recibido también algún tipo de apoyo del gobierno federal. De los proyectos que recibieron apoyo del gobierno federal, el 30.3% lo obtuvo de algún programa de Alianza para el Campo. Este apoyo, en gran parte, fue en especies: animales, insumos o equipo agropecuario. De la información presentada se concluye que la mayoría de los proyectos tuvo financiamiento externo; asimismo que eran conducidos por organizaciones con diversas figuras jurídicas. Pese a que la mayoría de los proyectos tenía entre 3 a 4 años de operación, no se tuvo elementos suficientes para estimar su posible sostenibilidad. Por último, aunque en pequeña escala, la mayoría de los proyectos recibió apoyo del gobierno federal a través de sus programas de desarrollo agropecuario y rural. La práctica de la evaluación y el uso de sus resultados De los proyectos estudiados, el 83.3% había sido evaluado formalmente alguna vez. En promedio, fueron evaluados hasta dos veces durante el período de operación, con un mínimo de 1 y un máximo de 4 veces. Entre los proyectos no evaluados se cuentan las microempresas y uniones de ejidos. En cuanto a la fuente evaluadora, del total de proyectos evaluados, el 44.0% había sido evaluado por una institución del gobierno, el 20.0% por alguna universidad, el 12.0% por algún despacho (organismo privado de servicio), el 8.0% por la entidad financiera y el 16.0% por la propia organización ejecutora del proyecto (Cuadro 2). De los datos arriba mencionados se puede inferir que en la mayoría de los proyectos se ha venido practicando la evaluación. No fue posible determinar, sin embargo, si este proceso implicó o no acciones de seguimiento. Prevaleció la evaluación externa, principalmente desde instancias gubernamentales, lo cual puede deberse a que los recursos, aunque en pequeña escala, provenían de esta fuente. Cuadro 2. Frecuencia y Porcentaje de Proyectos según la Entidad que Evalúo el Proyecto Entidad evaluadora Instancia gubernamental Frecuencia Porcentaje 11 44.0 5 20.0 3 12.0 2 8.0 Universidades Despachos Institución financiera 4 16.0 25 100.0 Propia organización TOTAL Del total de proyectos que fueron evaluados, en el 80.0% de los casos, los resultados de la evaluación fueron dados a conocer a los interesados. En un significativo 20.0% estos resultados no se conocieron. La comunicación de los resultados a los interesados se dio mayormente en las SSS, SPR y cooperativas. Del total de proyectos en donde los resultados de la evaluación fueron difundidos: en un 32.0% esta información fue utilizada por los productores beneficiarios; en un 20.0% por la fuente financiera, en otro 20.0% por los asesores y en el 12.0% restante por instituciones gubernamentales u otras instancias no precisadas (Cuadro 3). El uso de los resultados por los beneficiarios, se dio mayormente en los proyectos ejecutados por las SSS. De los datos arriba señalados se desprende que los resultados de la evaluación no siempre fueron comunicados a los interesados. En ciertos casos, esta información quedó sólo a nivel de quienes solicitaron la evaluación, grupo mayormente conformado por representantes de entidades financieras o por funcionarios de las instituciones de gobierno. Respecto al uso de los resultados de la evaluación, los datos del estudio indican que escasamente se utilizaron para mejorar o tomar decisiones sobre el proyecto. Estos resultados no son diferentes a los señalados por Piccioto (1995) en torno a la retroalimentación de los programas de desarrollo y Preskill y Carecelli (1997) en su estudio sobre los usos de la evaluación. Por otro lado, estas conclusiones son contrarias a las recomendaciones que hacen Trice (1995) quien remarca la evaluación como proceso empoderador; y Segone (1998) quien describe las características de una evaluación democrática. Ambas perspectivas enfatizan que un proceso de evaluación no termina con el informe final sino con la implementación de las sugerencias y con acciones de seguimiento. Cuadro 3. Frecuencia y Porcentaje de Proyectos según los Usuarios de los Resultados de la Evaluación Usuarios de los resultados deLa evaluación Frecuencia Porcentaje (%) No se dieron a conocer los resultados de la evaluación 3 12.0 Los resultados de la evaluación fueron 22 88.0 difundidos: i. A los beneficiarios A la fuente financiera 8 32.0 5 20.0 5 20.0 3 iv) A Instituciones de gobierno 2 12.0 ii. iii) A los asesores u operadores del proyecto 8.0 v) Otros TOTAL 25 100.0 Importancia y propósitos de la evaluación de los proyectos Otro aspecto abordado en la encuesta, fue el relacionado a la importancia que la evaluación tuvo para el propio proyecto y la organización. Al respecto, el 25.0% de los que respondieron a la pregunta (24) indicó que la evaluación realizada fue importante para el proyecto, el 50.0% poco importante y el otro 25.0% nada importante. La mayor importancia otorgada a la evaluación provino de los representantes de las SSS. Con respecto a los propósitos de la evaluación: el 50.0% de los encuestados indicó que el objetivo de la evaluación fue conocer los resultados del proyecto. El 37.5% afirmó que la evaluación fue hecha para estimar el proceso de la operación del proyecto; y el 12.5% restante no indicó propósitos claros. En este último grupo estuvieron quienes afirmaron, por ejemplo, que la evaluación se hizo "porque se tenía que cumplir con los requisitos establecidos". Los que afirmaron que la evaluación se hizo para conocer los resultados, provenían de las SPR , las SSS y cooperativas. De estos datos se desprende que, para la mayoría de los entrevistados, la evaluación no tuvo mayor importancia para sus proyectos. Según otras experiencias (Quispe, 1996), la poca o nula importancia que se le otorga a la evaluación es resultante, en gran parte, de evaluaciones impuestas que no surgen de las necesidades internas ni de la conciencia de esas necesidades por parte de los involucrados en el proyecto. Por otro lado, en cuanto al propósito concreto de las evaluaciones de los proyectos, se puede afirmar que hubo una predominancia de la evaluación sumativa sobre la formativa. Esto en la medida que la mayor parte de las evaluaciones -según los encuestados- tuvieron como propósito conocer resultados antes que los procesos de operación de los proyectos. Estos resultados son concordantes con lo señalado por Feinstein (1997), en su síntesis sobre las perspectivas y desafíos en la evaluación de programas y proyectos de desarrollo rural en Latinoamérica y el Caribe. Tradicionalmente, ha prevalecido la evaluación sumativa, es decir aquella que tiene como propósito certificar la utilidad del proyecto. Generalmente, este tipo de evaluación es conducida por evaluadores externos, solicitada por entidades financieras y realizada en la etapa final del proyecto (para así efectuar una confrontación de los resultados con los objetivos propuestos). Por el contrario, la evaluación formativa es poco frecuente a pesar de que ésta tiene como propósito mejorar el desarrollo del proyecto. Generalmente y a diferencia de la sumativa, la evaluación formativa es realizada por evaluadores internos. Para expertos en evaluación, como Worthen y Sanders (1989), ambos tipos de evaluación debieran ser realizados. Presupuesto para la evaluación Otro aspecto de interés fue conocer el presupuesto financiero destinado a las evaluaciones. Del total de encuestados, el 50.0% señaló que su proyecto no consideró una partida presupuestal para la evaluación, el 43.3% indicó lo contrario y el 6.7% refirió no tener conocimiento sobre este tema. Quienes señalaron que sus proyectos no incluyeron partida especial para la evaluación, fueron aquellos pertenecientes a microempresas, uniones de ejido, cooperativas y parte de las SPR. Entre los que señalaron que la evaluación sí contó con una partida presupuestal, el 53.8% indicó montos que variaron entre 12,000 y 150,000 pesos (US$1.0 = 7.5 pesos mexicanos) y porcentajes que oscilaron entre el 10% y 15% del presupuesto total del proyecto. Esta información sugiere que para muchos diseñadores, operadores, administradores y tomadores de decisiones de proyectos de desarrollo rural, la evaluación no es considerada ni importante ni parte esencial del proyecto. Por lo tanto, no existe necesidad de asignar recursos financieros para este tipo de actividades. No obstante, el estudio también demostró que una proporción importante de proyectos incluye, en la actualidad, partidas presupuestales para la evaluación. Esto podría indicar la importancia que incrementalmente se le vienen otorgando a la evaluación. Sobre el particular, algunos reportes (PREVAL, 1997) indican que, en la actualidad, las agencias internacionales de apoyo, los gobiernos y los organismos filantrópicos, están tomando conciencia de la necesidad de considerar recursos financieros para la evaluación, aunque muchas veces estos no sean suficientes. Dificultades encontradas en la evaluación En la encuesta, a través de una pregunta abierta, se interrogó sobre algún tipo de dificultad o problema enfrentado al abordar la evaluación. Del total de encuestados, el 50.0% remarcó no haber tenido dificultad alguna para la evaluación de su proyecto; el 30.0% señaló haber enfrentado algún problema y el 20.0% restante no respondió a la pregunta. De los que indicaron haber tenido dificultades, el 6.7% señaló problemas inherentes a la forma de hacer la evaluación; el 6.7% indicó que los resultados fueron muy generales o ambiguos; el 13.3% refirió como problema el que los resultados no fueron utilizados para la toma de decisiones; y el 3.3% restante indicó otras dificultades como: i) demoras en la entrega de los informes; y ii) existencia de una brecha entre resultados de la evaluación e intereses de los involucrados en el proyecto. La mayoría de las dificultades señaladas provino de los representantes de las SSS y SPR. De manera preliminar puede inferirse que el alto porcentaje que indicó no haber enfrentado problemas o que no contestó la pregunta, se explica por factores tales como la poca familiaridad con la evaluación, o la poca o nula importancia que se le da a la misma. Los problemas que se encaran al abordar evaluaciones son percibidos por aquellos que, en un mayor grado, entienden el papel e importancia de la evaluación para con el proyecto. Los hallazgos del estudio, en términos de problemas para abordar la evaluación. coinciden con lo señalado en las conclusiones del Encuentro de Evaluadores de Proyectos de Desarrollo Rural (PREVAL, 1996). En este evento se indicó que, en muchos casos, los métodos e instrumentos de evaluación son escasamente correspondientes con el contexto y con las demandas actuales de intervención en desarrollo rural. Se puede afirmar que esto es consecuencia a su vez, de la escasa capacidad técnica y débil cultura de evaluación en la región. Capacitación para la evaluación Una de las últimas preguntas hechas a los encuestados se refiere al tema capacitación en aspectos de evaluación. Sobre el particular, el 76.7% de los encuestados respondió que algún miembro de su organización estaría interesado en capacitarse. Contrariamente, el 13.3% respondió que no requiere de capacitación y el 10.0% no contestó. El interés por la capacitación en evaluación provino de aquellos pertenecientes a las SSS y SPR. A quienes respondieron afirmativamente se les preguntó sobre los aspectos o temas en los que les interesaría capacitarse. El 46.7% de este grupo señaló aspectos generales como evaluación de impacto y métodos de evaluación; el 23.3% indicó aspectos específicos como análisis de datos, técnicas de evaluación y muestreo; y , finalmente, el 6.7% remarcó temáticas poco claras o ajenas a la evaluación. Los datos presentados sugieren que para la mayoría de los participantes en la encuesta, la capacitación en cuestiones de evaluación es necesaria. Sin embargo, existe una proporción aún importante que no demuestra interés en ser capacitado en evaluación. Esto puede deberse a que para muchos, la evaluación: i) debe ser hecha por expertos; ii) debe referirse a aspectos económicos financieros del proyecto; o iii) no tiene relación con el desarrollo y mejora del proyecto o con la contribución hacia el aprendizaje, la responsabilidad y compromiso de los involucrados en el mismo. No es que se requiera sólo de la disponibilidad de profesionales calificados y con experiencia (expertos) en la evaluación de proyectos de desarrollo rural (PREVAL, 1996). Se requiere también de capacidades mínimas para evaluación y seguimiento, por parte de los involucrados en el desarrollo de los proyectos de desarrollo rural. CONCLUSIONES El estudio permitió un acercamiento hacia un primer nivel de conocimiento y entendimiento de la práctica de la evaluación y de su importancia en la operación de proyectos productivos de desarrollo rural en México. El estudio evidenció que para muchos involucrados en proyectos de desarrollo rural, la evaluación no es aún considerada necesaria e importante. Esta situación se refleja en que la evaluación no estuvo presente en algunos proyectos. Asimismo en que aún en proyectos evaluados, los resultados de los procesos evaluativos pocas veces fueron comunicados a los interesados, quedando mayormente al nivel de cúpula. También se constató que pocos fueron los casos en que los resultados fueron utilizados para la toma de decisiones. Un número importante de proyectos no consideró una partida presupuestal para la evaluación. En los casos en que la evaluación fue realizada, ésta tuvo el propósito de conocer resultados antes que procesos. Asimismo, muchas veces las evaluaciones fueron hechas para cumplir exigencias desde fuera y, por lo tanto, no surgieron para responder a las necesidades del proyecto. Poco numerosos fueron quienes percibieron dificultades al abordar la evaluación de sus proyectos. Los que se ubican en este grupo, señalaron problemas de orden metodológico y desaprovechamiento de los resultados de la evaluación. Finalmente, una proporción importante de representantes de los proyectos mostró interés por la capacitación sobre aspectos de evaluación. LECCIONES APRENDIDAS Los resultados obtenidos con la investigación, ofrecieron algunas pautas para señalar que, a pesar de la esforzada promoción de la evaluación desde los gobiernos, agencias internacionales de desarrollo y otras instancias, su práctica y el uso de sus resultados son todavía limitados. De esto se desprende, que la evaluación ha tenido aún poca relevancia en los esfuerzos para reducir la pobreza rural en esta parte de la región. Para superar esta situación, se requiere implementar formas diversificadas, organizadas y sistematizadas de acciones en el ámbito de la evaluación. Asimismo, se necesitan acciones orientadas a reforzar los progresos ya existentes en este campo. Adicionalmente sería necesario llevar a cabo estudios que den cuenta de los procesos y resultados de las prácticas de evaluación y de cómo estas últimas evolucionan. Antes del inicio del nuevo milenio, podemos dar un paso importante para que la evaluación cumpla su papel en los esfuerzos para mejorar las condiciones de vida de millones de personas que habitan en el medio rural. BIBLIOGRAFIA Feinstein O. (1997). Exposición de Síntesis (pags. 39-40) En: Encuentro de Evaluadores de Proyectos de Desarrollo Rural, Lima, Perú, 9-10 de Octubre de 1996. FIDA, PREVAL, IICA, San José, Costa Rica Picciotto, R. (1995). Evaluation and development., New Directions for Evaluation (67)3, 13-26. Jossey-Bass Publishers, San Francisco, USA. Preskill, H. y Caracelli, V. (1997). Current and developing conceptions of use: evaluation use TIG survey results. Evaluation Practice (18)3, 209-225. Jaipress Inc., Connecticut, USA. PREVAL (1996). Encuentro de evaluadores de proyectos de desarrollo rural, del 9 al 10 de octubre de 1996, Lima Perú. Memoria. Programa para el Fortalecimiento de la Capacidad Regional de Evaluación de los Proyectos de Reducción de la Pobreza Rural en América Latina y el Caribe (PREVAL), Costa Rica. PREVAL (1997). Primer taller electrónico sobre evaluación de proyectos de combate a la pobreza rural en América Latina y el Caribe, del 23 de septiembre al 31 de octubre de 1997. Memoria. IICA, FIDA, PREVAL. Quispe, A. (1997). La evaluación en el combate de la pobreza rural, un análisis desde la práctica. Ponencia. II Congreso Nacional Agropecuario y Forestal: Por un Desarrollo Rural Sustentable, del 19 al 20 de agosto de 1997. Universidad Autónoma Chapingo. Risco, F. (1996). Encuentro de evaluadores de Proyectos de Desarrollo Rural, del 9 al 10 de octubre de 1996., Perú, Lima. Memoria. Programa para el Fortalecimiento de la Capacidad Regional de Evaluación de los Proyectos de reducción de la Pobreza Rural en América Latina y el Caribe (PREVAL), Costa Rica. Segone, M. (1998). Evaluación Democrática. Documento de trabajo No. 3. UNICEF. Oficina Regional para América Latina y el Caribe. Worthen, B. R. y Sanders, J. R. (1987). Educational Evaluation, Alternative Approaches and Practical Guidelines. Longman, New York. (1) Profesor Investigador, Programa de Estudios del Desarrollo Rural, Colegio de Postgraduados Km. 35.5 carretera México-Texcoco, Montecillo, Estado de México, México. E-mail: [email protected]