Evaluación de programas públicos, una simulación

Los programas sociales que se ejecutan en México con dinero público prácticamente no son evaluados. Las valoraciones obligatorias –diseñadas para verificar el cumplimiento de sus metas– muestran importantes deficiencias en más de la mitad de los proyectos que en 2010 recibieron subsidios del gobierno federal, señala estudio. El Consejo Nacional de Evaluación de la Política de Desarrollo Social opina que dicho análisis es insuficiente para hacer un diagnóstico del desempeño de los programas. No obstante que los proyectos reciben más de 2 mil millones de pesos del erario, en la asignación presupuestal poca atención se presta a estos indicadores, reconoce legislador

El 60 por ciento de los programas sociales subsidiados por el gobierno federal tiene deficiencias en sus evaluaciones, de acuerdo con el Índice de desempeño de los programas federales de subsidio 2010 (Indep 2010), elaborado por la asociación civil Gestión Social y Cooperación, AC, (Gesoc). De los 115 programas en los que analizó su capacidad para cumplir con los objetivos para los que fueron creados, el estudio reprobó 71.

A partir de la premisa de que para determinar el buen desempeño de un proyecto gubernamental, éste debe contar con un marco de evaluación completo y comprensivo, el trabajo de Gesoc se ha centrado en analizar los indicadores utilizados en las Evaluaciones Específicas de Desempeño (EED) de dichos programas, que son realizadas por el Consejo Nacional de Evaluación de la Política Social (Coneval).

Sus resultados para 2010 (el segundo en que lleva a cabo este análisis) muestran que, en más de la mitad de los casos, los indicadores con los que se están evaluando los programas son deficientes, ya sea porque los indicadores de evaluación y de metas no presentan datos, los niveles de avance reportados o son muy bajos o excesivamente altos, o porque los indicadores con los que se está evaluando el programa se centran en una sola dimensión del desempeño.

En la mayoría de los casos reprobados por Gesoc, la principal deficiencia se encuentra en la información relativa al avance en resultados de los programas, ya sea porque éstos presentan un nivel de cumplimiento por debajo del 50 por ciento o muy por encima del ciento por ciento, lo cual puede ser indicio de que un programa ha establecido metas muy bajas para poder cumplirlas, explica Alejandro González Arreola, director general de Gesoc.

Tal es el caso del Programa Educativo Rural, que obtuvo la calificación más baja en el indicador, con 13.72 puntos de un total de 100. El proyecto, operado por la Secretaría de Educación Pública (SEP), reportó un avance de cumplimiento de 295.71 por ciento en el rubro de “Planteles apoyados con mantenimiento y/o equipamiento”, con lo que habría estado cumpliendo prácticamente el triple de sus metas.

Pero lejos de eso, el programa dejó sin ejercer 10 millones 100 mil pesos para la adquisición de bienes muebles e inmuebles, equivalentes al 63 por ciento de los recursos que recibió para ese propósito, de acuerdo con información de las EED 2009-2010.

Además, el Coneval consignó que no se había localizado el informe de avance de seguimiento de los aspectos susceptibles de mejora derivados de las evaluaciones externas de 2008, así como tampoco hubo evidencia documental para sustentar las actividades realizadas para alcanzar las metas del programa.

Otro caso es el del programa Competitividad en Logística y Centrales de Abasto, operado por la Secretaría de Economía. Éste reportó un avance de 268.43 por ciento en el cumplimiento de sus metas, aun cuando ni siquiera tenía definida su población potencial ni la había cuantificado. Aunque el programa señaló haber dado cobertura a 16 entidades federativas, no ofreció información desagregada sobre municipios y localidades atendidas.

En los tres años que lleva operando, este programa ha recibido 332 millones de pesos. En contraste, su desempeño también fue reprobado por Gesoc, al figurar en el Indep 2010 con un puntaje de 44.78. Para este año, el programa ya cuenta con un presupuesto de 161 millones de pesos, de acuerdo con el Decreto de Presupuesto de Egresos de la Federación 2011 (PEF 2011).

Para el Coneval, la información que retoma el Indep para calificar el desempeño de los programas es parcial, pues no incluye los resultados finales de los programas, la cobertura o el seguimiento de las recomendaciones que se les hacen a éstos.

Gonzalo Hernández Linderos, secretario ejecutivo del Coneval, dice en entrevista que aunque el trabajo de Gesoc es bueno en sus fines, si atendiera estas “áreas de oportunidad”, mostraría más claramente el desempeño global de los programas.

Evaluaciones sin valor

El Indep 2010 fue dado a conocer a principios de noviembre pasado, mientras en el seno de la Cámara de Diputados se definía el Presupuesto de Egresos 2011. Para entonces, el Coneval ya había publicado las EED 2009-2010, correspondientes al ejercicio fiscal 2009. Sin embargo, ni los esfuerzos de Gesoc ni los de Coneval tuvieron cabida en la discusión presupuestal que definió las asignaciones de recursos públicos para este año.

El secretario de la Comisión de Presupuesto y Cuenta Pública en la Cámara de Diputados, Vidal Llerenas Morales, reconoce esta situación, pues dice que las evaluaciones de los programas fueron “poco” tomadas en cuenta durante la asignación presupuestal, que implicó la distribución de 3 billones 438 mil 895 millones 500 mil pesos.

De los 71 programas públicos que figuran en el Indep 2010 con calificaciones menores a 60 puntos, a 10 les serán entregados poco más de 2 mil 171 millones de pesos, acorde con la información del PEF 2011.

Entre ellos, se encuentran los dos programas con los niveles más bajos del Indep: el Programa Educativo Rural, que recibirá 500 millones 296 mil 727 pesos, y el Programa de Empleo Temporal (PET), en su rubro operado por la Secretaría de Desarrollo Social, al que le fueron asignados 126 millones 521 mil 39 pesos.

En su Evaluación Específica de Desempeño, se lee que el PET es “una estrategia de atención para mitigar las consecuencias de la pérdida o disminución del ingreso y ayuda a favorecer la reactivación económica del entorno”.

Sin embargo, sus indicadores para medir los empleos generados, el número de jornales entregados por beneficiario, la incidencia del programa en el ingreso de los beneficiarios y la variabilidad del ingreso entre los beneficiarios y los no beneficiarios, es decir los elementos que permitirían establecer el impacto del programa, ni siquiera planteaban metas.

Otros programas que figuran ya con asignaciones presupuestales en el PEF 2011 son el Programa Fondos Regionales Indígenas, con 344 millones 297 mil 555 pesos; el Programa Turismo Alternativo en Zonas Indígenas, con 227 millones 378 mil 729 pesos; el Proyecto para la Atención a Indígenas Desplazados, con 35 millones de pesos; y el Apoyo a Proyectos de Comunicación Indígenas, con 12 millones de pesos. Estos cuatro programas son operados por la Comisión Nacional para el Desarrollo de los Pueblos Indígenas.

También se encuentran el Fondo de Apoyo para Proyectos Productivos, de la Secretaría de la Reforma Agraria (SRA); el Programa de Conservación y Restauración de Ecosistemas Forestales de Proárbol, operado por la Secretaría del Medio Ambiente y Recursos Naturales a través de la Comisión Nacional Forestal; el Programa para la Construcción y Rehabilitación de Sistemas de Agua Potable y Saneamiento en Zonas Rurales, de la Comisión Nacional del Agua; y el Programa de Fortalecimiento de la Educación Especial y de la Integración Educativa, de la SEP.

A excepción del proyecto de la SRA, todos los demás también tuvieron calificaciones reprobatorias en el Indep 2009. Gesoc indica que, en total, son 41 proyectos evaluados los que han tenido calificaciones menores a 60 puntos en ambas ediciones del Índice.

Entre los programas que han obtenido niveles de desempeño reprobatorios en las dos ocasiones, se encuentran también el Seguro Popular, los Programas para la Protección y Desarrollo Integral de la Infancia y el Programa de Apoyos Directos al Campo.

Llerenas Morales explica que la distribución de los recursos públicos en la definición del presupuesto tiene que ver con muchos factores, no únicamente con lo que muestren las evaluaciones de los programas públicos, “pero tendrían que ser mucho más informadas las decisiones que toma el Congreso en materia de asignación de gasto”.

El diputado perredista aclara que el hecho de que una evaluación sea negativa no significa que deban dársele menos recursos, sino que debe revisarse.

Para el director de Gesoc, Alejandro González, la solución tampoco está en desaparecer los programas si éstos atienden un problema de “alta relevancia pública”. En su opinión, primero tendría que revisarse si todos los programas siguen siendo “vigentes y necesarios”, es decir, si realmente atienden a un problema de alto impacto social.

“Los problemas públicos no se resuelven ignorándolos. Si desaparecemos el programa, el problema va a seguir ahí. Lo que hay que hacer es fomentar desde el Congreso un contrapeso para exigir un programa de mejora claro, objetivo, con tiempos y reportes sobre ese programa de mejora”, propone González Arreola.

Llerenas Morales, quien forma parte de la comisión que aprueba el presupuesto cada año, dice que, hasta ahora, los legisladores no han tomado en serio los resultados de las evaluaciones a los programas públicos. Justifica que eso se debe, en parte, a que las instancias técnicas del Congreso “son relativamente débiles; entonces no tenemos instancias capaces de digerir esa información”.

¿A quién le sirven las evaluaciones?

El trabajo que desde 2006 realiza Gesoc toma como referencia las evaluaciones hechas por el Coneval, por lo que González Arreola considera necesario que dicho órgano “fortalezca un análisis de la calidad de los indicadores”. El riesgo de que los indicadores estén mal diseñados, señala, es que no se esté reflejando adecuadamente el desempeño de un programa.

Y advierte de otro peligro: que los indicadores con los que se mide el desempeño de un programa se elijan incorrectamente y no reflejen la realidad de su eficiencia, ya sea a favor o en contra.

González explica que para realizar las EED, el evaluador accede al Sistema de Evaluación del Desempeño, administrado por la Secretaría de Hacienda y Crédito Público, y tiene la posibilidad de seleccionar, de entre 10 indicadores, únicamente los seis con los que evaluará un programa, “pero sólo él conoce cuáles elige, pues esa información no es pública”.

La doctora Myriam Cardozo Brum, especialista en evaluación de programas gubernamentales, considera que una de las consecuencias que han traído aparejadas las evaluaciones es la legitimación o deslegitimación de los programas impulsados por el gobierno federal.

La autora del libro La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México refiere, a modo de ejemplo, el caso de Oportunidades, programa puntero de los gobiernos panistas y el que más ha sido sometido a evaluaciones.

Cardozo Brum señala que las evaluaciones de Oportunidades han sido “muy poco críticas”, y aunque no ha sido su finalidad, han servido para legitimar el programa “al no cuestionar nada, al no proponer cambios, al decir que todo está muy bien, lo cual no es cierto, y la prueba la tenemos en las mediciones de pobreza que se van dando”.

La investigadora de la Universidad Autónoma Metropolitana, unidad Xochimilco, habla también sobre el trabajo del Coneval. Dice que si bien éste ha mejorado, aún tiene fallas en el trabajo de campo, pues su selección de muestras es “muy débil” para ser representativa.

Además, critica el “discursos hueco” de que las evaluaciones deben ser participativas, pues el Coneval se ha orientado más a hacer evaluaciones cuantitativas, lo cual no permite la participación de la población.

“Ellos [el Coneval] han priorizado ese enfoque más cuantitativo, más de experto. En lo personal, yo siempre he pensado que prefiero un enfoque de tipo constructivista, donde la idea es que la evaluación se construye incluso con los propios evaluados”, expresa.

Cardozo Brum, quien también se desempeña como consejera ciudadana del Consejo de Evaluación del Desarrollo Social del Distrito Federal, Evalúa DF, considera “aberrante” que el Coneval refiera como un avance la tipificación de las evaluaciones de consistencia y resultados para cualquier programa en un cuestionario estandarizado.

“Cada programa tiene sus particularidades. Todos son diferentes. Entonces cada programa amerita que tú hagas un diseño específico para ese programa y lo ideal es hacerlo cuando menos con la participación de los responsables del programa”, opina.

Cardozo Brum también advierte del riesgo de la “ritualización de la evaluación”, es decir que las mediciones se hagan cada vez más estandarizadas y se vaya menos a fondo de los problemas específicos de cada programa.

Fuente: Contralínea 214 / 02 de enero de 2011