miércoles, 27 de marzo de 2013

Selección de métodos: una mirada intercultural

Nota precautoria para las/los evaluadores de proyectos (1)


Ricardo Jorge Villanueva


Los programas y proyectos con impacto social que evaluamos se desenvuelven en una trama sociocultural viva, la cual impregna todas y cada una de las actividades de la intervención. Sea visible o invisible para los participantes,. Las actividades intervienen en un conjunto de valores, expectativas, códigos lingüísticos, marcos narrativos que explican la realidad para las y los miembros de las comunidades. Entonces, la elección de ciertos métodos de recojo y análisis de información implica en cierto modo elegir ciertas formas de acceder a la cosmovisión y marcos de referencia de las personas.


Muchas veces los equipos evaluadores emprenden el diseño de las evaluaciones como un proceso riguroso y a veces extremadamente técnico, poniendo énfasis en tres elementos fundamentales de la calidad de la evaluación de programas y proyectos, estos son la viabilidad, la confiabilidad y la representatividad. Nuestro país -es éticamente imperioso reconocerlo- constituye una realidad multicultural. Los códigos y hábitos que vivimos en los contextos hispanohablantes urbanos son distintos a los de las comunidades indígenas de la sierra y la Amazonía, especialmente aquellas que enfrentan la exclusión, y sus formas de convivencia y construcciones culturales son poco comprendidas. Muchas veces sus derechos son postergados por las instituciones del Estado profundizando su vulnerabilidad. En ocasiones debido a la premura, los recursos disponibles o el propio modelo de la intervención a evaluar se pone énfasis en la viabilidad o la confiabilidad y no se presta atención a un cuarto elemento: la legitimidad del proceso evaluativo.


¿Por qué un proceso de evaluación, técnicamente bien diseñado debe también asegurar la legitimidad a través de formas de comunicación con los sujetos participantes? es una pregunta central. Primero, debemos reconocer que las intervenciones –especialmente las que tienen como propósito promover la inclusión social-- operan dentro de un contexto institucional que por decir lo menos ha prestado poca atención a la exigibilidad de los derechos de los pueblos indígenas. La propia institucionalidad de los mecanismos deliberativos establecidos (planes concertados de desarrollo, comités de coordinación regional y local, comités de participación educativa local, los presupuestos participativos y otros más) han sido organizados mediante reglamentaciones que en buena parte refuerzan la asimetría en las relaciones de poder, asimetrías preexistentes y que sostienen funcionamientos y reglas de juego en la economía y la política locales y, por lo tanto, han permitido asentar ciertos valores normativos. Mas allá de los talleres para transferir conocimiento y habilidades argumentativas que los proyectos implementan, la superación de las brechas de equidad y en la exigibilidad de derechos exige abordar los factores que sostienen el sistema de toma de decisiones.




Uno de los factores mas importantes es la instrumentalización de la participación de los actores. En la lógica instrumental unilateral, estos actores serán llamados beneficiarios , en otras ocasiones quizás formas sofisticadas para circunscribir y limitar su acción sociopolítica dentro de una lógica de entrega de servicios y productos. El proceso de evaluación puede y debe hacer visible en qué medida existe una relación apropiada y éticamente justificada entre las formas de participación y expresión de los sujetos –actores sociales- promovidas y los intereses y las visiones del desarrollo de los grupos participantes.


El proceso de empoderamiento y apropiación de derechos implica hacer visible las barreras, tanto aquellas impuestas por las instituciones políticas como las que el proyecto puede estar –inconscientemente o no- sosteniendo, creando así dependencias, relaciones verticales, asistencialistas y unilaterales que son incompatibles con un reconocimiento de estos grupos como sujetos sociales de derechos. El predominio de formatos escritos en los mecanismos oficiales, la actitud etnocéntrica de los funcionarios y la desvaloración hacia la forma de expresión de los grupos indígenas son en conjunto elementos de un verdadero sistema de asimetrías que profundizan el aislamiento y socavan o limitan un diálogo horizontal entre comunidades e instituciones. Necesitamos reconocer que el cambio es un proceso incremental, pero también necesitamos crear oportunidades para la disonancia cognitiva. Muchos equipos ejecutores de proyectos se dan cuenta a mitad de camino de esta trama de factores mientras que el marco lógico ha quedado anclado en supuestos irreales reproducidos de los discursos institucionales que ocultan la necesidad de construir coaliciones para afrontar los monopolios en la toma de decisiones. Una evaluación externa entonces crea una ventana de oportunidad para establecer un vínculo comunicativo empático con los actores indígenas para traer a la superficie las prácticas reales, los supuestos que han operado en los procesos de la intervención, y hacer un análisis de la pertinencia de estos procesos en función de las expectativas y visiones de desarrollo de los actores.


Entonces, en el momento de contrastar y sopesar entre uno y otro método de diálogo, necesitamos hacernos las siguientes preguntas relevantes para lograr legitimidad en la construcción del diálogo intercultural:


• ¿El método permite a nuestro/a interlocutor/a en la comunidad comprender cabalmente cuál es el objetivo de esta evaluación?

 ¿Este método da la oportunidad a nuestro/a interlocutor a explayarse para explicar su punto de vista desde sus propias palabras y forma comunicativa?

• ¿Estamos actitudinalmente preparados para procesar y dar cuenta de la información sin prejuicio, escuchando y valorando las opiniones y valores que se recogerán en el diálogo?

• ¿Estamos dispuestos a introducir cambios en el formato, lenguaje y forma de procesamiento y análisis en función de los puntos de vista?


Cuando los evaluadores permiten incorporar la complejidad en el diseño metodológico salen a relucir otras preguntas: ¿vamos a observar cómo se organizan las relaciones internas de la comunidad antes de elegir los informantes mas adecuados? ¿cuánto tiempo dedicaremos tiempo a dialogar para conocer sobre las expectativas, los proyectos de vida y las percepciones que tienen las personas sobre los demás actores antes de aplicar el primer instrumento? Un enfoque de diagnóstico rápido basado en la conversación ayudará en el proceso de establecer una atmósfera adecuada de diálogo, libre de premuras e ideas fijas, y permitirá estar en mejor pie para captar las necesidades, expectativas y vacíos que han sido abordadas o que han permanecido invisibles para el proyecto. Cuando los evaluadores logramos recoger esta valiosa narrativa y la comunicamos a las instituciones hemos cruzado el umbral para convertimos en mediadores culturales. Debemos ser conscientes de la responsabilidad que asumimos al cumplir este rol trascendental.

  1  Extracto de la guía "Evaluación de Proyectos de Desarrollo Humano. Ruta metodológica básica" a publicarse próximamente. Los comentarios son bienvenidos.

miércoles, 20 de febrero de 2013

Evaluando el desarrollo de capacidades para evaluar


¿Cuándo una organización orientada al desarrollo humano está en condiciones para gestionar el conocimiento y aprender desde la práctica?

Una de las principales ventajas de las organizaciones no gubernamentales pequeñas y medianas es su versatilidad y agilidad para ajustar su trabajo a las condiciones reales del entorno social y los problemas prácticos. Una de sus principales dificultades es reconocer la evidencia que surge cuando las estrategias planteadas para abordar el problema dejaron escapar asuntos críticos que limitan el avance a los resultados.

Como especialista en procesos de monitoreo  y evaluación de programas y proyectos he observado diversos tipos de equipos de proyecto: he observado a los eficientes: consideran que su misión es entregar los servicios y productos programados a los grupos definidos en el momento exacto, definen planes operativos y cuadros de Gantt, definen las metas a lograr y planifican bien; pero muchas veces escapa a su mirada las características culturales de los beneficiarios; los cambios que ocurren en el delicado balance político y de las fuerzas sociales en juego que se traducen en frenos y barreras a la marcha del proyecto; menos aún logran prestar atención suficiente a los factores sociales e institucionales que intervienen en la sostenibilidad. Se puede encontrar a los equipos comprometidos con los grupos destinatarios: tienen un alto sentido de propósito y valores sólidos, pero muchas veces ven el lado “cualitativo” del trabajo como el único propósito, no organizan el tiempo para reunir información que pueda informar sobre el avance de metas, no definen métricas para analizar la eficacia, mucho menos la eficiencia. Pueden tardar semanas para elaborar un afiche de sensibilización que será usado en un taller cuando la realidad demostrará que la capacidad de retención de la información es de setenta y dos horas, organizan cientos de charlas porque sienten necesario mantenerse en contacto con los beneficiarios, pero pierden de vista que las personas son eficaces cuando aprenden a trabajar autónomamente. Se encuentran también los pragmáticos: ellos gestionan procesos e intentan implementar los servicios para los beneficiarios y cuando emergen los problemas los ven como oportunidades para flexibilizar los planes y resolver sobre la marcha. Priorizan el cambio de los instrumentos: ajustan las cartas de Gantt, reducen los tiempos de los talleres, donde antes se organizaban talleres para veinte ahora los hacen para treinta; el material que iba dirigido a los dirigentes adultos ahora se “adaptan” para los líderes adolescentes; si antes se distribuía un material instructivo general, ahora se le agregan párrafos para incorporar el enfoque de género. Si necesitan mostrar que existen canales de participación se agrega una sesión al taller de refuerzo. El producto queda reducido a informes que se une a los cientos de páginas generadas durante la ejecución.



Ni los eficientes, ni los cualitativos ni los pragmáticos logran percibir un asunto fundamental  en el desarrollo humano: las condiciones que rodean a un grupo humano, una comunidad, una organización social, un grupo indígena se modifica rápidamente conforme una iniciativa de desarrollo se desenvuelve. Por varias razones: porque se han creado expectativas diferenciadas entre los diversos subgrupos existentes, porque el flujo de información al que acceden tiene efectos distintos entre las personas; porque la percepción sobre el rol del proyecto genera reacciones entre los funcionarios públicos y otras instituciones, porque los procedimientos de las entidades públicas se imponen sobre cualquier fuerza natural o sobrenatural, porque las rutinas de las personas tienen una capacidad ordenadora formidable o simplemente porque los poderes fácticos emergen y las fuerzas invisibles se hacen visibles.

Por tal razón, desarrollar las capacidades de los equipos técnicos para analizar el avance del trabajo, el progreso de los procesos puestos en marcha no solo es deseable es una condición indispensable de la gestión.

La palabra clave es realimentación: el proceso de compartir observaciones, inquietudes, y sugerencias para mejorar el desempeño. En el trabajo que busca abordar los retos emergentes, generalmente con recursos limitados, la realimentación es esencial para maximizar el impacto de las intervenciones. Los bloques fundamentales de la realimentación son puestos por el monitoreo. A partir de el se identifican restricciones en los procesos de capacitación: ¿han cambiado las prácticas de los actores o no? ¿habíiamos reconocido adecuadamente los roles de los actores sociales e institucionales? Este tipo de preguntas (que se forman a partir de los indicadores) puede puede explicar el avance y las limitaciones del programa o proyecto.

 
¿Se puede evaluar el desarrollo de capacidades en monitoreo y evaluación? No sólo se puede, se debería evaluar el desarrollo de estas capacidades como uno de los elementos esenciales del desarrollo organizacional, especialmente de los organismos que implementan programas y proyectos de desarrollo social. De lo contrario, el flujo para la realimentación no fluirá y las decisiones cada vez mas se desconectaran de la realidad. Y responder a la realidad, amigos, es la razón de ser de un proyecto de desarrollo.
 
Para quienes leen en inglés a continuación un recurso extremadamente útil sobre este tema:


Los comentarios son, por supuesto, bienvenidos.

jueves, 14 de febrero de 2013

¿Cómo saber cuando un programa puede ser evaluado?

La evaluación de los planes y programas de gobierno es, cada vez más, una función estratégica del Estado. En un contexto de mayores niveles de inclusión y participación política, la difusión de sus resultados y hallazgos se convierte en un derecho que puede ampliar el ejercicio de ciudadanía.

En principio cualquier programa que está dirigido a promover el desarrollo, combatir la pobreza o abordar las causas de la inequidad, cualquier programa de desarrollo social, debería ser susceptible de evaluación.

Todos los programas y proyectos sociales se basan en una hipótesis de cambio y todas las actividades de la intervención generan información: sobre los cambios en el grupo objetivo, sobre las condiciones institucionales, sobre los roles de los actores participantes, sobre la entrega de los productos planeados, sobre el avance en los resultados. Las variables de cambio social son susceptibles de medición. Sin embargo, ¿el programa cuentan con las condiciones para acceder a la información? ¿se ha previsto una participación significativa de los involucrados en el proceso evaluativo? ¿ha definido métricas apropiadas y viables?


¿Cuáles son las dimensiones en el planeamiento y la gestión que hacen que un programa este mejor preparado frente a la evaluación? Estas preguntas se ha planteado el CIPPEC de Argentina y sus resultados se encuentran en un informe destacable. Puede ser bajado desde el enlace a continuación.

http://www.vippal.cippec.org/media/recursos/documentos-de-politica/cippec_analisisdeevaluabilidad.pdf

martes, 23 de octubre de 2012

PRIMER MÓDULO

Bienvenidos a esta nueva mirada del Monitoreo & Evaluación y al mundo del aprendizaje colaborativo.


El monitoreo y evaluación de planes y programas es un componente esencial de un sistema de gestión de política social eficaz. Los planes y proyectos necesitan ajustarse permanentemente a las condiciones de la realidad social y cultural compleja, así como adaptarse al escenario institucional con el que interactúa. Además de esta necesidad de pertinencia, los planes y programas descansan sobre hipótesis que reunen lecturas y propuestas sobre la forma como abordar un problema. Los problemas sociales, de salud humana y de respuesta a la vulnerabilidad abordan una trama de factores multidimensionales. Por ello, el diseño hace ciertas apuestas con la mejor información al alcance que necesitan contrastarse durante la ejecución. El rol del monitoreo y la evaluación no es tanto realizar un control, como analizar en que medida el proyecto responde adecuadamente a la realidad con la que interactúa y entrega los servicios en forma oportuna y pertinente. Constituye también un componente clave del aprendizaje institucional.
Contenidos:

1. El Monitoreo y Evaluación como instrumentos de la Política Social

viernes, 23 de abril de 2010

Discusión del Segundo Módulo

Hemos pasado revista a muchos de los elementos que necesitamos incorporar al diseño de una evaluación de programas y proyectos, con especial énfasis en los estudios de línea de base. La razón de este énfasis es simple: se requiere contar con información sobre el estado inicial de la situación o del problema social sobre el que se actua, para luego efectuar la medición de los cambios. Sin el estado del punto de inicio, no podrían hacerse inferencias válidas sobre los resultados.

En este punto nos detendremos a hacer un intercambio de ideas y comentarios.

martes, 13 de abril de 2010

Segundo módulo: elementos de investigación aplicables en la evaluación

En este segundo módulo nuestro objetivo es promover el dominio de los principales elementos de la investigación social usados comunmente en los procesos de evaluación de programas y proyectos.

Como sabemos en los proyectos sociales se ponen en juego ciertas hipótesis de cambio. Siendo así entonces, la evaluación debe organizarse como una indagación a partir de la recuperación de evidencia que haga visibles estos cambios y los haga atribuibles a la intervención.

Normalmente, una intervención social o un proyecto de desarrollo local debe tener como punto de partida una Teoría de Cambio. Este documento es el conjunto de relaciones entre los problemas identificados -y sobre los que la intervención va actuar-, los cuales se sitúan en diferentes niveles de complejidad o de ámbitos socioculturales y los cambios que deben lograrse en distintos niveles y con distintos actores para obtener los objetivos y el propósito definidos en el proyecto.

La matriz de variables, indicadores y métodos de recojo de información del estudio de línea de base o la evaluación debe basarse en esta teoría de cambio. De modo resumido las hipótesis de cambios esperados se presenta en la matriz de marco lógico. Esta es una herramienta fundamental y el punto de partida para el diseño del estudio de línea de base de la intervención

Contenidos importantes del módulo:
Diseño de estudios de línea de base; diseño del marco muestral; criterios para determinar el tipo de estudio a realizar: orientado a variables cuantitativas o cualitativas? Será esta dicotomía algo superflua? Lo dilucidaremos a través de este módulo.

Presentación: Metodología de la Evaluación

sábado, 10 de abril de 2010

Discusión del Primer Módulo

Este espacio está abierto para intercambiar comentarios sobre los contenidos del primer módulo del curso.

El objetivo del primer módulo es lograr la comprensión acerca de la íntima relación entre el diseño de programas y proyectos con la viabilidad y calidad de la evaluación de los mismos. Tal como se indica el uso de las herramientas formales de diseño tal como el Marco Lógico contribuye a la claridad y consistencia de una evaluación, pero aun así la evaluación exige contar con sólidos criterios de evaluación que sean específicos, medibles, y confiables. De todo ello se habla en el primer módulo.

Contenidos del primer módulo:

1. Los Programas y Proyectos como Instrumentos de la Política Social
2. El Monitoreo y Evaluación como Análisis Sistemático de la Gestión de Proyectos

Complementandose con un documento de lectura:

- MOKATE, Karen. La Evaluación, Herramienta de la Gerencia Social. INDES, 2001.

Sugerencias:

Después de resolver los ejercicios que aparecen al final de la segunda parte del Módulo, podrán plantear las preguntas o comentarios que estimen convenientes.