docSergio Cárdenas, CIDE EVALUACIÓN DE PROGRAMAS
download 
Demanda Transcripción
Sergio Cárdenas, CIDE EVALUACIÓN DE PROGRAMAS
EVALUACIÓN DE PROGRAMAS SOCIALES 1ER. FORO SOBRE EXPERIENCIAS DE DISEÑO, OPERACIÓN, EVALUACIÓN Y FONDEO DE PROGRAMAS DE APOYO PARA LA EDUCACIÓN. OCTUBRE DEL 2013 Sergio Cárdenas, CIDE La ruta de hoy… ¿Por qué evaluar? ¿Por qué una evaluación de Impacto? Retos de las evaluaciones de impacto Comentarios finales ¿ Por qué evaluar? “¿Rumores?....¡Me encantan los rumores!... Los hechos pueden ser tan engañosos, en tanto que los rumores, ciertos o falsos, frecuentemente revelan algo” ¿ Por qué evaluar? Preocupación por medir resultados en las organizaciones no es reciente: ¤ Efectividad organizacional como preocupación desde los años 40´s. ¤ Acercamientos cuantitativos que buscaron “identificar factores o elementos que afectaban el desempeño de las organizaciones, intentando establecer ligas, patrones y configuraciones entre los mismos” ¤ Influenciado por las técnicas de planeación con herramientas cuantitativas utilizadas durante la segunda guerra. ¤ En los 80´s evoluciona en un período de medición de calidad, más orientado hacia aspectos cualitativos, relacionados con excelencia, cultura, calidad y valores. ¤ En los 90´s se recupera un movimiento por la medición del desempeño ¿ Por qué evaluar? Una valoración sistemática y objetiva sobre el diseño, el desarrollo y/o los resultados de un programa o una política, en función de un conjunto de estándares, como medio para: Determinar la relevancia y el logro de los objetivos planteados ¤ Contribuir con información a la mejora del programa o política. ¤ Para responder preguntas específicas ¤ ¿ Por qué evaluar? Hua y Snyder, 1999 ¿ Por qué evaluar? I. Para generar evidencia sobre la efectividad de los programas o políticas o o Considerando presupuestos limitados Toma de decisiones (expandir, reajustar) II. Mejorar el diseño de los programas o o ¿Por qué funciona un programa? ¿Quiénes se están beneficiando ? III. Rendición de cuentas o Informar sobre los recursos utilizados y los efectos logrados ¿Por qué una evaluación de impacto? Consistencia y resultados ¨ Indicadores ¨ Procesos ¨ Impacto ¨ Específica ¨ ¿Por qué una evaluación de impacto? “Cuando el cocinero prueba la sopa, es formativa. Cuando la prueba el comensal, es sumativa…” (NSF, s.f.) ¿Por qué una evaluación de impacto? Hay diferencias Monitoreo: Proceso continuo de recolección y análisis de información (evidencia) para dar cuenta sobre el progreso en la implementación y gestión del programa. Evaluación: Medición de cambios en los resultados y valoración del impacto de intervenciones específicas en los resultados. ¿Por qué una evaluación de impacto? Monitoreo Evaluación Objetivo ¿El programa está haciendo bien las cosas? Seguimiento a la implementación Mediciones de eficiencia ¿El programa esta haciendo las cosas correctas? Permite confirmar las expectativas del programa Medición de Impactos Frecuencia Continuo Periódico Cobertura Todos los programas Selectivamente Datos Universal Muestra Información Generada Implementación: actividades , procesos Efecto en los resultados y porqué Costo Como parte del programa Programado Uso Gestión del programa Decisiones estratégicas sobre el beneficio a la población ¿Por qué una evaluación de impacto? ¨ ¨ ¨ ¨ ¿Se están entregando los libros de texto conforme a lo planeado? ¿La desparasitación está aumentando la asistencia de los niños a la escuela? ¿Cuál es el total de recursos que se transfirieron el año pasado para becas escolares? ¿La autonomía escolar incrementa los niveles de logro académico en los niños? ¿Por qué una evaluación de impacto? Retos de la evaluación de impacto Causalidad (Singer, 2009) Mecanismo identificado Se cuenta con una teoría sólida para explicar cómo un cambio en el predictor resulta en un cambio en el resultado Consistencia Se encuentra el mismo resultado en otras poblaciones con diferentes características en momentos diferentes Cuatro criterios para establecer causalidad Respuesta Se demuestra que un cambio en un predictor en realidad produce un cambio en el resultado No hay explicación alterna razonable No hay un predictor que pueda explicar la correlación observada 6 principios para la evaluación 1. 2. 3. 4. 5. 6. 3ie (2011). Teoría del programa (EBT) Entender el contexto Anticipar heterogeneidad Contrafactual creible Análisis factual riguroso Uso de métodos mixtos 6 principios para la evaluación Teoría del programa (EBT) 1. 1. 2. 3. 3ie (2011). Condición lineal de la cadena y la dirección de la causalidad Modelo estático Efectos no esperados y teorías alternas 6 principios para la evaluación Entender el contexto 2. 1. 2. 3. 3ie (2011). Entender condiciones económicas, políticas y sociales Impacto en programas idénticos Generalización 6 principios para la evaluación Anticipar heterogeneidad 3. 1. 2. 3. 3ie (2011). Verificar efectos por diferencias en niveles distintos Tamaño de la muestra se asocia a categorías por diferencia Generalización de hallazgos 6 principios para la evaluación Contrafactual creible 4. 1. 2. 3. 3ie (2011). Es el componente clave de la evaluación de impacto Eliminar sesgo de selección Cuidar externalidades y contaminación 6 principios para la evaluación Análisis factual riguroso 5. 1. 2. 3. 3ie (2011). Probar las relaciones establecidas con hechos y datos Analizar focalización Verificar efectos del programa 6 principios para la evaluación Uso de métodos mixtos 6. 1. 2. 3. 3ie (2011). Ampliar la probabilidad de capturar datos y posibles explicaciones Doble uso Trabajo de campo como validación Retos de la evaluación de impacto El EBT es un modelo de análisis que orienta la relación entre las acciones de la intervención y los resultados obtenidos. Programa ¿La capacitación Puso en movimiento Puso en movimiento Que condujo a: Proceso “Causal” Cambiar las actitudes hacia el trabajo Efecto deseado Que condujo a: Conseguir empleo? Ejemplo: Lectura Visitas de los maestros a los hogares de los alumnos Opiniones compartidas por padres y maestros Comprensión por parte del maestro de la cultura del hogar Empatía del maestro por los niños y su manera de entender el mundo Enseñanza de manera cómoda y comprensible para los alumnos Señalamiento de problemas especiales que alteran el aprovechamiento escolar (de salud, emocionales, etc) Conocimiento que tienen los padres de lo que la escuela espera de los niños Apoyo y estímulo de los padres hacia los niños para el cumplimiento de las tareas en el hogar y en la escuela Trabajo reflexivo y perseverante de los niños Apoyo de los padres para mejorar la asistencia a la escuela Asistencia de los alumnos Remisión a quienes puedan ayudar en la escuela o fuera de la misma Recepción de ayuda por parte del niño Satisfacción de los alumnos Mejoramiento del estado (de salud, emocional) Fuente: Weiss, C. (2008). Investigación Evaluativa. Aprovechamiento en lectura Retos de la evaluación de impacto ¨ ¨ ¨ ¨ ¨ Diseño y uso de evaluaciones es más complejo y costoso de lo que todos anticipan. Limitaciones técnicas y de recursos humanos son observadas con frecuencia No existe una perspectiva clara de la formación requerida para institucionalizar prácticas de uso. Se requiere respaldo político Se requiere aceptación abierta y generalizada de los beneficios de la evaluación Retos de la evaluación de impacto ¨ ¨ ¨ ¨ ¨ La recolección de información no es suficiente Se requiere evitar evaluaciones tipo caja negra Se requiere una estrategia de difusión de información Se requiere enseñar a usar e interpretar la información Se requiere enseñar a utilizar la información en procesos de mejora. Retos de la evaluación de impacto ¨ “Ahora tenemos un modelo general de cómo la escuela produce el aprendizaje del estudiante y una enorme cantidad de investigaciones para ilustrar las afirmaciones del modelo. El modelo sigue siendo principalmente propiedad de los investigadores. Se podría decir que sabemos cómo hacer que las escuelas sean más eficaces y eficientes. La cuestión es si los que saben son quienes toman las decisiones.” McGinn, N., 1997 Retos de la evaluación de impacto HEPG,2008 Retos de la evaluación de impacto ¨ Trabajo colaborativo: ¤ ¤ ¤ ¤ ¤ ¨ Alfabetismo sobre evaluación ¤ ¤ ¨ Conversaciones frecuentes Datos disponibles Cultura de datos Cultura de cuestionamientos Equipos para interpretar datos Comprensión de términos Asegurar interpretación adecuada Presentación de datos ¤ ¤ Usar gráficas Presentación accesible Retos de la evaluación de impacto ¨ Explorar otros datos ¤ ¤ ¨ Revisar la intervención ¤ ¨ ¤ Seleccionar actividades Identificar relación con problema y probabilidad de efecto Evaluación ¤ ¤ ¨ Ligar resultados al tipo de intervención Plan de acción ¤ ¨ Triangulación de datos. Pensar en el alumno Identificar qué se medirá Identificar éxito Acción ¤ Colaboración, apego, resultados, retroalimentación Comentarios finales Evitar las evaluaciones tipo caja negra Evitar programas sin problema Cadena de Resultados como guía: 1. 2. 3. • • • Temporalidad Procesos clave Resultados esperados (acción integral) Comentarios finales Muchas gracias [email protected]
