2015

1. Elaborar un diagnóstico específico para el estado de Jalisco y sus municipios, del problema que el programa pretende atender. Esto con la finalidad de definir más claramente el problema a atender, así como las poblaciones potencial y objetivo. Además de justificar y fundamentar mejor el programa.
2. Capacitar al personal operativo del programa en metodología de marco lógico para que tengan mayor claridad de las metodologías, procesos y los objetivos del programa para los cuáles contribuyen con su trabajo y desempeño, pues se observa que no hay claridad de ¿para qué? es importante el programa, su planeación, así como la generación y sistematización de información; entre otras cosas. Particularmente en el tema de las evaluaciones hay un desconocimiento de la naturaleza, objetivos y alcances de las evaluaciones por parte del personal operativo por lo que se confunden los procesos evaluativos con auditorias (hay una percepción constante por parte del personal de que se les vigila y cuestiona su trabajo) y se observa “temor y negación” para proporcionar datos e información a “agentes externos al programa” tanto al interior de la propia dependencia como al exterior, lo que hace muy lento y complejo el trabajo de evaluación.
3. Se sugiere elaborar una MIR específica para el programa que sirva para monitorearlo y darle seguimiento como tal, pues al aparecer como componente de la MIR de DIF Estatal se dificulta el seguimiento y monitoreo a la consistencia, objetivos y resultados del programa.
 

Tras la revisión de la información presentada por la Unidad de Evaluación de la Secretaría de Cultura, este equipo consultor identificó una carencia de un diagnóstico o de un estudio técnico que delimitará la problemática a atender o la planteara en términos negativos o como una situación a revertir de acuerdo a lo establecido en las preguntas de investigación en de los TDR. La ausencia de una mayor precisión en cuanto a la definición de una población potencial y objetivo también se ubican en este primer punto que deberán considerar los responsables de la operación del programa y que constituyen partes importantes del diseño del programa al cual se le puede añadir la ausencia de planes de trabajo anuales
Los mecanismos para la transparencia y para el seguimiento a los beneficiarios resultan óptimos y otorgan certeza en cuanto al uso de los recursos públicos, no así los mecanismos de monitoreo de cumplimiento de metas o del objetivo primordial del programa, el cual también deberá ser revisado tomando muy en consideración la recomendación de la Unidad de Evaluación Interna.
Quedan establecer mecanismos de participación para la mejora en cuanto a la operación del programa que podemos enmarcar dentro de la gobernanza, en la cual se debe incluir e incitar a la participación de actores sociales y privados para la promoción de las obras de beneficiarios del programa y la gestión de mayores recursos para la creación y promoción del arte y la cultura en Jalisco.
 

La dimensión de Diseño y Operación son las dos mejore evaluadas seguido de Orientación  a resultados y Transparencia y rendiciones de cuentas aunque la diferencia es muy pequeña entre todas ellas.
En Diseño sabemos que lo más débil en los programas es la elaboración de diagnósticos para atender problemas públicos. Estos en su mayoría son muy generales. Sabemos que en muchos casos el diagnóstico realizado no se hace específicamente para cuantificar y medir el problema preciso que se intenta resolver sino que sirve como contexto  general  que motiva la intervención  del  estado.  En  este  sentido  el diagnóstico cumple parcialmente con los objetivos de un diagnóstico desde la perspectiva de políticas públicas pues dicha falla explica en parte la ineficacia programática. Cosa que no es trivial.
También sabemos que en muchos casos los programas resuelven este elemento con los diagnósticos que hacen a nivel federal pero no se realiza una verificación más puntual para conocer el problema a nivel estatal, mucho menos a nivel municipal.
En la dimensión de Orientación a Resultados observamos debilidades en la identificación de la población objetivo. Aún cuando la mayoría señala tener identificada esta población, existen  mejoras  sustanciales  por  hacer  sobre la información y la utilidad que tiene la definición clara y explícita de este componente programático. De no tenerlo se corre el riesgo de duplicidad y se pierde en términos de eficiencia y eficacia.
Observamos también amplios márgenes de mejora en la aplicación de evaluaciones. Este tipo de prácticas ha ido tomando fuerza pero aún no logra consolidarse. Existe confusión entre auditorías y evaluaciones, y cuando se realizan estudios a los programas, se confunde cualquier tipo de estudio por evaluación. Son pocas las evaluaciones en programas que si fueron hechas bajo metodologías reconocidas de políticas públicas (evaluaciones de desempeño, resultados,  impactos,  etc.)  En   ocasiones   los operadores identifican como evaluación cualquier encuesta aplicada a beneficiarios de programas. Evidentemente hace falta mayor conocimiento sobre lo que es y lo que implica una evaluación. Aún cuando hace falta lo anterior, las evaluaciones no han sido utilizadas en muchos casos para mejorar los programas  y éstos no suelen ser públicos como tampoco se publican los resultados o las agendas de mejoras. Las evaluaciones tampoco están sujetas a un programa, según lo comentado, lo que dificulta que esta práctica se institucionalice.

El programa BE tiene identificado el problema que intenta mitigar, cuenta con una definición de su población objetivo y los mecanismos para garantizar la llegada de incentivos a su población objetivo, además, el programa logra establecer elementos normativos claros y bien diseñados gracias a la observancia de ejercicios anteriores y el programa ha detectado cuellos de botella que ha ido solucionado. Si bien es cierto que el programa marcha bien, de acuerdo a las metas y a los objetivos establecidos en sus procesos de planeación, hay áreas de oportunidad en las que el programa puede mejorar como la identificación y cuantificación de su población potencial con mayor precisión a través de conocer las condiciones de informalidad laboral dentro de las MYPES en Jalisco, así como el reporte, búsqueda y sistematización del impacto de otros programas tanto nacionales como internacionales en la generación de empleo formal; la sistematización de este tipo de estudios permitirá construir diagnósticos más sólidos que servirán para generar sinergias con otros programas y con otras dependencias gubernamentales o acciones de gobierno. 

Tipo de evaluación: 

Se identifican áreas de oportunidad para mejorar las funciones de Emprende. Por ejemplo, la generación de una bolsa de trabajo o de un programa de vinculación entre FOJAL y universidades para encontrar candidatos a empleos temporales, no especializados, que podrían subsanar las necesidades urgentes de las empresas beneficiarias de créditos; el seguimiento de casos de empresas que han sido beneficiadas con crédito y capacitación; la organización de eventos en donde se expongan los casos de éxito de las empresas beneficiadas por Emprende; la difusión de casos de éxito a través de publicaciones; la ampliación de modalidades de pago de los créditos; la generación de un directorio de empresas apoyadas por FOJAL; el aumento en los montos de los préstamos otorgados; la individualización de los casos de acuerdo con las garantías prendarias; la impartición de cursos de capacitación empresarial; el mejoramiento de la comunicación entre el FOJAL y los emprendedores para la difusión de actividades del fideicomiso.

El subprograma cuenta con mecanismos e instrumentos de seguimiento que acompañan el

proceso y cierre por proyecto. Cuenta con un reporte de resultados globales de la convocatoria donde se puede valorar los resultados de todos los indicadores y metas del conjunto de los proyectos, pero estos no son públicos. Se carece de estudios externos o independientes en los que se analicen los resultados que éste genera en la condición del problema público que pretende atender. Los objetivos del componente tienen una alineación con los instrumentos de planeación a nivel estatal y con respecto al problema público definido en documentos institucionales. La provisión de apoyos y los resultados se encuentran documentada por cada proyecto, perohace falta la integración de una base de datos para la caracterización de la población atendida y un análisis más desagregado respecto a la atención del problema público.

En la Convocatoria Pública del Subprograma se establecen indicadores de impacto y metas que cumplen de forma parcial con el enfoque de Gestión para Resultados (GpR), sin embargo estos no se encuentran concentrados y sistematizados para dar cuenta de los resultados del Subprograma en su conjunto, solamente por proyecto. El Subprograma cuenta con mecanismos de seguimiento de índole jurídica y administrativa de los proyectos apoyados, pero no existe una sistematización de los datos recolectados en los informes finales que permitan estimar el cumplimiento sustantivo de objetivos. No se tienen datos registrados que permitan calcular el valor monetario de los beneficios obtenidos por proyecto incubado. No se encontraron documentos donde se hiciera un estudio de la demanda de apoyos o se definiera una estrategia de cobertura futura, los dos criterios utilizados son la respuesta directa a la demanda y la disponibilidad presupuestal. Cuenta con aspectos muy positivos que le permiten su óptimo funcionamiento operativo y un marco de convenio colaborativo con las incubadoras reconocidas por el INADEM con metas específicas que buscan abonar a los objetivos del Subprograma.

El Subprograma carece de un diagnóstico elaborado exprofeso que permita un análisis detallado de la lógica y correspondencia causal entre los objetivos y el problema público Los resultados registrados por proyecto muestran indicadores que resaltan los alcances en relación a los objetivos señalados en los instrumentos de planeación estatales y en específico respecto a la contribución específica desde el Subprograma. El principal problema que se detecta es que la documentación de los resultados se encuentra de manera separada por proyecto, lo cual no permite una estadística sistematizada que mida los alcances del Subprograma de forma global y comparada en el tiempo para conocer su contribución puntual al problema público que busca atender. El Subprograma responde a una problemática identificada en los instrumentos de planeación estatales y ha ampliado sus modalidades de atención con una valoración positiva de sus beneficiarios respecto a los resultados obtenidos a través de su participación dentro de los rubros considerados en sus objetivos. Sin embargo su presupuesto se ha reducido gradualmente y no cuenta con mecanismos de seguimiento que le permitan aportar de manera sistemática la estimación de resultados de manera integral de su contribución en términos globales y por modalidad de apoyo.

El propósito de esta evaluación  es  mostrar  el avance  en  el cumplimiento de los objetivos y metas programadas de los programas públicos mediante el análisis de indicadores de resultados, de servicios y de gestión, así como con base  en  una síntesis de la información entregada por el Sistema DIF Jalisco. En este  sentido,  cabe  aclarar que las conclusiones a las que se llegaron,  resultado  del  análisis  de  la  MIR  y  de  la información complementaria  a  esta,  fueron  que  el  Programa  tiene  un  eficiente  desempeño,  el cual se pudo deducir a partir del análisis en los logros  de  las  metas  ligadas  a  sus  indicadores, al eficaz manejo del recurso,  y  el  cumplimiento  en  la  alineación  del  Programa  con los objetivos de  la  MIR del  Fondo.  Sin  embargo,  no  se  puede  dejar  de  lado  las  áreas de oportunidad que se aprecian en  cuanto  al  diseño  del  Programa.
Finalmente,  la  información  financiera  publicada en el  PASH,  permite conocer  de forma global la eficiencia en el uso del recurso asignado al FAM Asistencia Social, así como los reportes internos del seguimiento presupuestario nos permiten verificar los  resultados entre el ejercicio 2014 y 2015, observando un adecuado y eficaz uso de los recursos entre los ejercicios fiscales.
 

El programa presupuestario Bienestar de la Niñez y sus familias muestra un desempeño  adecuado  en  cuanto  en  al  cumplimiento  de  metas  de  los objetivos en lo que se refiere a la entrega o prestación de bienes y servicios y el nivel de cobertura de  la  población objetivo,  ello  se  puede  observar  a  partir  de  los  indicadores  de la MIR así como de los  reportes  de  avance  físico  financiero2  presentados  para  la Evaluación.
En cuanto al diseño de la  MIR y su utilidad para el seguimiento y evaluación del programa,      se encontró que debido a  la  forma  en  que  se  está  implementando  el  modelo  de  PbR  en la Administración Pública Estatal, se enfrentan aún  muchos  retos  para  transitar  a  un  modelo realmente orientado a la evaluación de resultados.
Finalmente, en  cuanto al ejercicio  de  los recursos del programa presupuestario en general y    los correspondientes al FAM, se observa que es adecuado  y  oportuno,  lo  cual  contribuye  desde luego al cumplimento de las metas y objetivos del programa.