La Evaluación de los programas

Muy buenos días a todos! sean bienvenidos y bienvenidas al episodio 87 del Podcast de la Matriz de Indicadores para Resultados desde ABBA INSADISA.

El día de hoy, platicaremos sobre una porción del libro «Antología de la Evaluación» que me pareció excelente y necesario de difundir entre toda la audiencia.

El inicio

La historia comienza con un Programa para ayudar a las personas a dejar de fumar, el cual consiste en que se llama a unas 100 personas cada mes para que participen en tres sesiones de actividades grupales.

¿Cómo saber el avance del programa?

Resulta que el programa citado ha operado ya por un año, y entonces el personal a cargo se hace la siguiente pregunta. ¿Cuál es el grado de avance? ¿Las personas que atiende el programa, realmente dejaron de fumar y se mantienen alejadas del cigarro?

La respuesta es que no se sabe, ya que nunca se han entrevistado a los participantes que participaron en el programa… así que los operadores del programa deciden hacer una Evaluación para saber si alcanzaron los objetivos: que las personas participantes dejen de fumar.

Asimismo, el libro afirma que en este caso, la Evaluación es relativamente sencilla, porque está claro el indicador de éxito: que los participantes dejen de fumar, ya que dejar el cigarro mejora la calidad de vida, y los pulmones, y corazón, etc. etc.

Las llamadas telefónicas y los dilemas de medición

Por lo que la historia continúa, el personal revisa las listas de asistencia de la semana anterior (ojo, la semana anterior) y los llama por teléfono y les pregunta que si dejaron de fumar, y el 47% responde que sí.

No obstante lo anterior, varios miembros del personal opinan que una semana es un periodo muy corto de tiempo y pudo haber sido que lo hayan dejado pero el punto es que no vuelvan a ser presa del vicio.. así que se recomiendan hablar a los participantes de los primeros tres meses del programa, ya ha pasado casi un año y se interesan en conocer los resultados.

Así lo hacen y resulta que el 39% dejó de fumar; Los entrevistadores se preguntan ¿si ese porcentaje es bueno? A lo que narra el libro que un miembro del equipo de evaluación les recuerda a sus colegas que muchas personas dejan de fumar sin ayuda alguna y pudo haber sido que les hubiera ido bien sin inscribirse al programa.

Por lo tanto, el equipo decide llamar a los amigos fumadores que conocen para hacerles la misma pregunta: ¿Dejó de fumar? y resulta que solo el 2% de ellos lo logró. Así que un evaluador exclama: «Lo ven?, nuestro programa sí produjo cambios».

Sin embargo, otro colega objeta que la comparación no es justa, ya que las personas que asistieron al programa estaban motivadas para dejar de fumar, mientras que las últimas personas evaluadas no.

¿Entonces… como encontrar personas que se encuentren motivadas a dejar de fumar que no asistieron al programa? Lo intentaron hacer comparando los resultados con otro programa similar, pero lo descartaron porque deseaban saber si el programa funcionaba, no se es peor o mejor que otro.

Los grupos de control

Por otro lado, alguien que conoce sobre investigación, sugiere establecer un grupo de control de asiglación aleatoria, en el que incluirán a personas con la misma motivación para dejar de fumar. Así que de las siguientes 200 solicitudes para ingresar al programa, aceptarán al azar 100 y a las 100 restantes les indicarán que ya no hay lugar sino hasta el próximo mes.

El libro narra que una vez trasncurrido ese periodo, las respuestas a las entrevistas telefónicas relevan que el 46% del grupo del programa dejó de fumar, mientras que solo el 15% del grupo de control lo logró. El personal ahora cree que tienen un dictamen final, las personas que no participaron en el programa fracasaron en su intento por dejar de fumar; pero no es del todo real, que tal si no lo intentaron dejar porque sabían que iban a ser aceptados en el programa el siguiente mes? o que tal si buscaron ayuda en otro programa, eso aumentaría e