Concluida

En general se detecta que el programa cuenta con información importante que no está sistematizada, por ejemplo las encuestas de satisfacción que se aplican a los beneficiarios; es bastante notoria la falta de personal capacitado para desarrollar actividades como éstas.
Se detecta que es importante que el personal operativo del programa conozca metodología de marco lógico y de evaluación de programas públicos para que tengan mayor claridad de las metodologías, procesos y los objetivos del programa y a los cuáles contribuyen con su trabajo y desempeño (no hay claridad de ¿para qué es importante el programa?, en su planeación; así como en la generación y sistematización de información, entre otras cosas). Particularmente en el tema de las evaluaciones ¿cuál es la metodología?, los fines y alcances de las mismas. Es grave y notorio el desconocimiento por parte del personal operativo al respecto y se sigue pensando e interpretando a éstas como auditorías por lo que es evidente y persistente el “temor y negación” para proporcionar datos e información a “agentes externos al programa” tanto al interior de la propia dependencia como al exterior, lo que hace muy lento y complejo el proceso de evaluación.
Por último se evidencia la necesidad de plantear para el programa su respectiva MIR que sirva para monitorear en específico el programa, pues al aparecer como componente de la MIR de DIF Estatal se dificulta el seguimiento y monitoreo de programa como tal.
 

1. Elaborar un diagnóstico específico para el estado de Jalisco y sus municipios, del problema que el programa pretende atender. Esto con la finalidad de definir más claramente el problema a atender, así como las poblaciones potencial y objetivo. Además de justificar y fundamentar mejor el programa.
2. Capacitar al personal operativo del programa en metodología de marco lógico para que tengan mayor claridad de las metodologías, procesos y los objetivos del programa para los cuáles contribuyen con su trabajo y desempeño, pues se observa que no hay claridad de ¿para qué? es importante el programa, su planeación, así como la generación y sistematización de información; entre otras cosas. Particularmente en el tema de las evaluaciones hay un desconocimiento de la naturaleza, objetivos y alcances de las evaluaciones por parte del personal operativo por lo que se confunden los procesos evaluativos con auditorias (hay una percepción constante por parte del personal de que se les vigila y cuestiona su trabajo) y se observa “temor y negación” para proporcionar datos e información a “agentes externos al programa” tanto al interior de la propia dependencia como al exterior, lo que hace muy lento y complejo el trabajo de evaluación.
3. Se sugiere elaborar una MIR específica para el programa que sirva para monitorearlo y darle seguimiento como tal, pues al aparecer como componente de la MIR de DIF Estatal se dificulta el seguimiento y monitoreo a la consistencia, objetivos y resultados del programa.
 

Tras la revisión de la información presentada por la Unidad de Evaluación de la Secretaría de Cultura, este equipo consultor identificó una carencia de un diagnóstico o de un estudio técnico que delimitará la problemática a atender o la planteara en términos negativos o como una situación a revertir de acuerdo a lo establecido en las preguntas de investigación en de los TDR. La ausencia de una mayor precisión en cuanto a la definición de una población potencial y objetivo también se ubican en este primer punto que deberán considerar los responsables de la operación del programa y que constituyen partes importantes del diseño del programa al cual se le puede añadir la ausencia de planes de trabajo anuales
Los mecanismos para la transparencia y para el seguimiento a los beneficiarios resultan óptimos y otorgan certeza en cuanto al uso de los recursos públicos, no así los mecanismos de monitoreo de cumplimiento de metas o del objetivo primordial del programa, el cual también deberá ser revisado tomando muy en consideración la recomendación de la Unidad de Evaluación Interna.
Quedan establecer mecanismos de participación para la mejora en cuanto a la operación del programa que podemos enmarcar dentro de la gobernanza, en la cual se debe incluir e incitar a la participación de actores sociales y privados para la promoción de las obras de beneficiarios del programa y la gestión de mayores recursos para la creación y promoción del arte y la cultura en Jalisco.
 

La dimensión de Diseño y Operación son las dos mejore evaluadas seguido de Orientación  a resultados y Transparencia y rendiciones de cuentas aunque la diferencia es muy pequeña entre todas ellas.
En Diseño sabemos que lo más débil en los programas es la elaboración de diagnósticos para atender problemas públicos. Estos en su mayoría son muy generales. Sabemos que en muchos casos el diagnóstico realizado no se hace específicamente para cuantificar y medir el problema preciso que se intenta resolver sino que sirve como contexto  general  que motiva la intervención  del  estado.  En  este  sentido  el diagnóstico cumple parcialmente con los objetivos de un diagnóstico desde la perspectiva de políticas públicas pues dicha falla explica en parte la ineficacia programática. Cosa que no es trivial.
También sabemos que en muchos casos los programas resuelven este elemento con los diagnósticos que hacen a nivel federal pero no se realiza una verificación más puntual para conocer el problema a nivel estatal, mucho menos a nivel municipal.
En la dimensión de Orientación a Resultados observamos debilidades en la identificación de la población objetivo. Aún cuando la mayoría señala tener identificada esta población, existen  mejoras  sustanciales  por  hacer  sobre la información y la utilidad que tiene la definición clara y explícita de este componente programático. De no tenerlo se corre el riesgo de duplicidad y se pierde en términos de eficiencia y eficacia.
Observamos también amplios márgenes de mejora en la aplicación de evaluaciones. Este tipo de prácticas ha ido tomando fuerza pero aún no logra consolidarse. Existe confusión entre auditorías y evaluaciones, y cuando se realizan estudios a los programas, se confunde cualquier tipo de estudio por evaluación. Son pocas las evaluaciones en programas que si fueron hechas bajo metodologías reconocidas de políticas públicas (evaluaciones de desempeño, resultados,  impactos,  etc.)  En   ocasiones   los operadores identifican como evaluación cualquier encuesta aplicada a beneficiarios de programas. Evidentemente hace falta mayor conocimiento sobre lo que es y lo que implica una evaluación. Aún cuando hace falta lo anterior, las evaluaciones no han sido utilizadas en muchos casos para mejorar los programas  y éstos no suelen ser públicos como tampoco se publican los resultados o las agendas de mejoras. Las evaluaciones tampoco están sujetas a un programa, según lo comentado, lo que dificulta que esta práctica se institucionalice.

El programa BE tiene identificado el problema que intenta mitigar, cuenta con una definición de su población objetivo y los mecanismos para garantizar la llegada de incentivos a su población objetivo, además, el programa logra establecer elementos normativos claros y bien diseñados gracias a la observancia de ejercicios anteriores y el programa ha detectado cuellos de botella que ha ido solucionado. Si bien es cierto que el programa marcha bien, de acuerdo a las metas y a los objetivos establecidos en sus procesos de planeación, hay áreas de oportunidad en las que el programa puede mejorar como la identificación y cuantificación de su población potencial con mayor precisión a través de conocer las condiciones de informalidad laboral dentro de las MYPES en Jalisco, así como el reporte, búsqueda y sistematización del impacto de otros programas tanto nacionales como internacionales en la generación de empleo formal; la sistematización de este tipo de estudios permitirá construir diagnósticos más sólidos que servirán para generar sinergias con otros programas y con otras dependencias gubernamentales o acciones de gobierno. 

Tipo de evaluación: 

Se identifican áreas de oportunidad para mejorar las funciones de Emprende. Por ejemplo, la generación de una bolsa de trabajo o de un programa de vinculación entre FOJAL y universidades para encontrar candidatos a empleos temporales, no especializados, que podrían subsanar las necesidades urgentes de las empresas beneficiarias de créditos; el seguimiento de casos de empresas que han sido beneficiadas con crédito y capacitación; la organización de eventos en donde se expongan los casos de éxito de las empresas beneficiadas por Emprende; la difusión de casos de éxito a través de publicaciones; la ampliación de modalidades de pago de los créditos; la generación de un directorio de empresas apoyadas por FOJAL; el aumento en los montos de los préstamos otorgados; la individualización de los casos de acuerdo con las garantías prendarias; la impartición de cursos de capacitación empresarial; el mejoramiento de la comunicación entre el FOJAL y los emprendedores para la difusión de actividades del fideicomiso.

La planeación del programa puede desarrollar insumos que permitan la optimización de otros procesos, como información estadística para la toma de decisiones, árbol de problemas y diagnóstico del problema público que atiende el programa. Las actividades, componentes y actores  son adecuados para optimizar los procesos de solicitud de apoyos, de selección de beneficiarios y de seguimiento, monitoreo y apoyo a éstos.

El proceso de difusión fue suficiente en el número de nuevos beneficiarios que el programa atendió en 2016. Sin embargo no es adecuado para fines de transparencia y rendición de cuentas pues el mecanismo de apertura de nuevos espacios en términos territoriales no es público y es poco claro.

El proceso de producción y distribución de bienes y servicios es eficiente para la entrega de los monederos electrónicos y el pago bimestral a los beneficiarios, aunque el pago suele retrasarse por cuestiones administrativas y presupuestales.

El seguimiento del programa se lleva a cabo únicamente a través de un indicador en la MIR. Es necesario considerar otros indicadores más estratégicos de desempeño como los que se sugieren en el informe.

Existe una alineación conceptual del instrumento del programa con la consecución de los objetivos planteados.

Los beneficiarios tienen una valoración muy positiva del programa, sobre todo porque representa un ingreso importante para cubrir sus gastos escolares y de manutención.

Algunos de los estudiantes transfieren un porcentaje a algún miembro de sus familias para cubrir gastos no ligados a ellos. No se detectaron efectos negativos del programa  ni externalidades negativas.

Los procesos operativos del programa funcionan bien en general. El programa en el año 2016 no identificó una estrategia de ampliación de su cobertura pues no tuvo ampliación presupuestal con respecto al año anterior.

El seguimiento del programa se lleva a cabo únicamente a través de un indicador en la MIR. Es necesario considerar otros indicadores más estratégicos de desempeño como los que se sugieren en el informe. Se sugieren algunas adecuaciones menores a la MIR, sobre todo incluir algún indicador de la calidad del servicio de transporte público.

Los estudios externos no logran determinar el impacto del programa sobre la deserción escolar.

Existe una alineación conceptual del instrumento del programa con la consecución de los objetivos planteados, aunque no hay evidencia empírica sobre ello. El programa ha identificado cuáles son sus retos principales y se tiene conocimiento de las causas que han limitado superar dichos retos.

Los beneficiarios tienen una valoración muy alta del programa, sobre todo por el ahorro que éste genera sobre sus gastos en transporte público.

Los procesos operativos han mejorado su eficiencia significativamente, sobre todo en la entrega semestral de los apoyos. Hay una percepción importante de intercambio ilegal de Bienevales.

La MIR del programa cuenta con indicadores fácilmente monitoreables, aunque podría utilizar otros más estratégicos. La lógica horizontal y vertical de la MIR es clara. Se cuenta con un diagnóstico externo del problema.

Los apoyos del programa son bien valorados por beneficiarios. Se valora la contribución en mejorar su situación económica. Expandir la cobertura está limitado por su estancamiento presupuestal.

Los apoyos en efectivo se destinan a los cuidados de la salud de los beneficiarios, contribuyendo a uno de sus objetivos. Sin embargo, el programa no compensa el costo-oportunidad de laborar de personas encargadas de los cuidados de los beneficiarios. Se tiene desequilibrio en la asignación territorial de sus recursos, pues favorece al AMG.

El  programa cuenta con procesos relativamente estandarizados y se considera que éstos operan con transparencia. El programa no lleva a cabo un monitoreo y seguimiento de los beneficiarios.