Reflexiones sobre la evaluación de las políticas públicas: de la epistemología a la estrategia
Fernando Fantova Azcoaga. Titular de Besaldi-Órgano de evaluación de las políticas de empleo e inclusión del Gobierno Vasco
Puedes encontrar a Fernando en X, Facebook y LinkedIn.
Desde la experiencia de construcción de Besaldi-Órgano de evaluación de las políticas de empleo e inclusión del Gobierno Vasco, se elabora una reflexión de carácter fundamentalmente epistemológico sobre la complejidad de saberes relacionados con la evaluación de políticas públicas, con consecuencias estratégicas para su institucionalización.
Nos propone la querida revista Documentación Social compartir algunas reflexiones sobre la evaluación de las políticas públicas, a partir de la experiencia práctica de estar cocreando Besaldi, el Órgano de evaluación de las políticas de empleo e inclusión del Gobierno Vasco[i]. Después de darle algunas vueltas, hemos decidido proponer a quienes lean este artículo recorrer un edificio imaginario, una fábrica de varias plantas en la que vamos a intentar representar realidades y conocimientos relacionados con la evaluación de políticas públicas. Creemos que la metáfora de la fábrica y la reflexión sobre sus contenidos nos va a permitir expresar y compartir algunas consideraciones que pueden resultar de interés sobre el tema que se nos propone.
Comenzamos la visita accediendo al primer piso del edificio y allá se nos (re)presentan las situaciones o fenómenos de los que se ocupan las diferentes políticas públicas. En el caso de Besaldi, se trata de la inclusión social y del empleo, pero en otros casos pueden ser, por citar tres ejemplos más, la movilidad urbana, la seguridad ciudadana o la calidad del aire. Estos fenómenos o realidades pueden ser vistas, al menos, como necesidades a satisfacer, como bienes a proteger, como capacidades a fortalecer o como derechos a garantizar por parte de las políticas públicas. Por cierto, aunque parece existir la tendencia a nombrar las políticas públicas haciendo referencia al bien protegible del que se ocupan, también pueden, en otros casos, tomar la denominación del mal o del problema que pretenden evitar, paliar o superar. Por eso, entre los fenómenos que podemos encontrar representados en este primer piso de nuestra fábrica también están, por citar algunos, el calentamiento global, la pobreza o la violencia de género. Notemos que la denominación, delimitación, calificación, caracterización o definición de los fenómenos, bienes, males o problemas como tales es todo menos natural y evidente para las políticas públicas. Por ejemplo, ¿da lo mismo hablar de rearme militar que de autonomía estratégica?
En cualquier caso, a la hora de saber sobre estas realidades o situaciones de las que venimos hablando, preferimos contar con esos dispositivos o conjuntos de conocimientos que llamamos ciencias: la geografía, la criminología, la química y así sucesivamente. A veces a estas ciencias que se ocupan de parcelas o aspectos importantes de la realidad se las llama básicas (en contraposición a las llamadas ciencias aplicadas). Ese saber científico incluye el conocimiento del llamado método científico y, dentro de éste, de la investigación científica. Por cierto, hemos de advertir que el análisis de las necesidades a las que da respuesta una determinada política pública (o sea, el estudio de estos fenómenos representados en la planta primera de nuestra fábrica) puede ser realizado por una ciencia básica o pura o por varias de ellas en modo multidisciplinar, interdisciplinar o transdisciplinar. Incluso se puede llegar a dar una intersección, integración o hibridación entre ciencias o, en general, áreas de conocimiento[ii]. El reparto del trabajo entre unas y otras ciencias o disciplinas no siempre es incruento.
La segunda planta de nuestra imaginaria fábrica es la destinada a las actividades (normalmente profesionales) que permiten lograr esos fines o bienes que hemos visto representados en el primer piso. Frecuentemente, las políticas públicas tienen una o unas pocas actividades profesionales que son las esenciales o principales, como podría ser el caso de la medicina dentro de la política pública de salud o de la arquitectura en la política de vivienda. Podemos denominar operativas a estas actividades que vertebran la cadena de valor de su correspondiente política pública y que acostumbran a desembocar directamente en las destinatarias de la política, satisfaciendo la necesidad correspondiente. Lógicamente, además de estas actividades profesionales emblemáticas de cada política pública, hay muchas otras representadas en esta segunda planta de la fábrica.
Para la realización de estas actividades que se nos presentan en el segundo piso, también apreciamos el saber científico, aunque en una imprescindible combinación con otros, como el saber técnico y el saber práctico. Se suele subrayar el carácter aplicado y fuertemente tecnológico o metodológico de estas actividades, en las que frecuentemente coincide la denominación de la actividad profesional o de la propia profesión con la de la formación, cualificación o titulación que habilita a las personas para ejercer esa profesión o realizar esa actividad. Ciertamente, estas actividades, intrínsecamente, contienen algo de evaluación: es decir, no se puede hacer bien un trabajo de psicólogo o de ingeniera sin evaluar. Así pues, los procesos de trabajo recogidos en este segundo piso de la fábrica, necesariamente, tienen subprocesos de diseño o planificación, subprocesos de ejecución o implementación de lo que se ha decidido realizar y subprocesos de evaluación (con ese nombre o con otros como, por ejemplo, diagnóstico)[iii].
Al subir a la tercera planta vemos un letrero con la pregunta sobre si es conveniente ser cocinero antes que fraile. Esa pregunta, con independencia de la respuesta que le demos, nos recuerda la diferencia entre la naturaleza de las actividades operativas, de fuerte contenido técnico específico de cada ámbito de actividad o política pública y otras, que solemos llamar administrativas, de gestión o de gobierno, que van emergiendo en la medida en que las actividades que hemos visto en la planta segunda se vayan iterando y estructurando en (o como) organizaciones cada vez más grandes y complejas. Cualquiera que haya ascendido en una jerarquía ha experimentado la necesidad de incorporar nuevas herramientas cognoscitivas (nuevos saberes) a medida que iba asumiendo responsabilidades sobre un proceso o estructura de más envergadura y alcance. Así como las actividades operativas son muy diferentes entre organizaciones de ámbitos de actividad diferentes (como una clínica odontológica, una destilería de whisky y una compañía de teatro), los procesos administrativos, de gestión y de gobierno pueden parecerse bastante. Ciertamente, los procesos administrativos, de gestión organizacional o de gobierno estratégico también tendrán subprocesos de planificación y evaluación. Por otro lado, en estas organizaciones, además de la línea jerárquica, aparece también la autoridad funcional y figuras con funciones como el control económico o la gestión de la calidad, por citar dos que pueden ser entendidas y ejercidas (en menor o mayor medida) en clave de evaluación.
¿Qué áreas de conocimiento corresponden a estas funciones administrativas, de gestión y gobierno? Por ejemplo: la dirección de empresas (management), frecuentemente de matriz económica; el estudio de las organizaciones, posiblemente de corte sociológico; o, por poner otro ejemplo, la logística. De nuevo nos encontramos con combinaciones entre tipos de saber (ético, científico, técnico y práctico, cabe decir) y entre conocimientos vinculados a la rama de actividad (zapatero a tus zapatos) y otros que permiten funcionar en diferentes ámbitos sectoriales (como hace la Chief Executive Officer de una multinacional del automóvil fichada por otra dedicada a las telecomunicaciones)[iv].
En la cuarta planta volvemos a encontrarnos con organizaciones dedicadas a realización a cierta escala de las actividades vistas en el piso segundo para perseguir las finalidades que nos han mostrado en el primero, con la diferencia de que ahora son organizaciones, administraciones o instituciones públicas: agentes con competencia legal para decidir sobre una determinada materia en un ámbito territorial determinado y dentro de un marco normativo establecido. A los conjuntos articulados de actuaciones o cursos de acción decididos y sostenidos por esos agentes mediante los cuales se responsabilizan de la protección y promoción de un determinado bien (sobre los que se nos ilustró en la primera planta) los llamamos políticas públicas. En cualquier caso, cabe suponer que, si en este cuarto piso están representadas las políticas públicas, estará todo su ciclo de vida, incluyendo la planificación y presupuestación, su implementación o ejecución y su seguimiento y evaluación. Por otra parte, tal como sucedía en el caso de las organizaciones privadas, en las administraciones públicas aparecen puestos dotados de autoridad funcional en el amplio terreno del control (tanto interno como externo) y la correspondiente fiscalización de la acción pública. Terreno en el que encontramos, por ejemplo, las auditorías operativas o de gestión, que pueden considerarse evaluaciones[v].
Conocimientos de tipo jurídico y politológico, por ejemplo, parecen muy pertinentes en esta cuarta planta. Desde el conocimiento jurídico se podrá hacer, entre otras muchas cosas, un análisis del impacto normativo de una nueva Ley, mientras que la politología nos permitirá, por poner un solo ejemplo, hacer un análisis comparativo de los sistemas de Seguridad Social de dos países. Desde luego, en las personas que realizan funciones de presupuestación, control interno o externo, fiscalización o auditoría suele estar muy presente la formación económica. Vemos que hay conocimientos que son de utilidad tanto en las organizaciones privadas como en las públicas mientras que otros son específicos de cada tipo de organización. En cualquier caso, parece claro que saber de política pública educativa (cuarta planta) es diferente de saber sobre el aprendizaje (primer piso), la enseñanza (segunda planta) o la dirección de centros escolares (tercer piso).
La quinta planta de la fábrica está dedicada a la evaluación, entendida como un proceso sistemático de aplicación de métodos y técnicas de investigación científica (de las ciencias sociales, en particular) en orden a la descripción, análisis y valoración de una actuación o intervención o de alguna de sus dimensiones, partes, elementos o factores. En la definición, hay dos aspectos clave: el rigor en el proceso y el propósito de llegar a emitir algún juicio de valor sobre el objeto de la evaluación. En los pisos anteriores de la fábrica nos hemos encontrado varias veces con la evaluación (así llamada o no) como tarea dentro de una actividad, como dimensión de una acción, como subproceso dentro de un proceso, como fase de un ciclo, como parte dentro de un todo. En la quinta planta, en cambio, es representada como una actividad en sí misma, como una función con entidad propia y, en algunos casos, como una profesión, aunque va de suyo que la evaluación, por definición, además de producir evidencia y, por tanto, conocimiento útil al respecto de la actuación en cuestión (y permitir la rendición de cuentas), lo hace dentro de un continuo cíclico de intervención de cara a volver a iniciarlo en mejores condiciones, con mayores posibilidades de éxito (por el aprendizaje obtenido). La evaluación de la que hablamos sería la evaluación de programas, evaluación de proyectos, evaluación de servicios o evaluación de centros[vi].
En este quinto piso escucharemos hablar del saber necesario para evaluar como un campo o área del conocimiento (como una disciplina, quizá). Ciertamente, si escuchamos conversaciones entre profesionales de la evaluación o leemos los libros sobre evaluación más consultados descubrimos un lenguaje común (con términos como encargo, eficiencia, teoría del cambio, estándares, contrafáctico, monitorización, evidencia o impacto) y un corpus metodológico característico, de igual modo que veremos unas referencias y tradiciones en las que las evaluadoras y evaluadores se reconocen. No parece haber una ciencia base predominante sino más bien una clara vocación interdisciplinar y aplicada, muy centrada en lo metodológico, con amplio pluralismo al respecto[vii].
La sexta planta de la fábrica está dedicada a la evaluación de políticas públicas[viii]. Según quién hubiera diseñado esta fábrica, posiblemente, la evaluación de políticas públicas no tendría una planta propia sino quizá una sección en la quinta. Sin embargo, sin negar la continuidad existente entre la evaluación de programas (por escoger un nombre de los cuatro mencionados antes) y la evaluación de políticas públicas, cabe percibir una diferencia cualitativa entre una y otra. No sólo porque los cuatro objetos citados pueden ser o no públicos sino, sobre todo, porque hablar de la política pública sería hablar de lo más global, estratégico, estructural, impactante o perdurable (por oposición a lo más bien técnico, operativo, coyuntural, parcial o táctico) y, por lo tanto, la evaluación representada en la sexta planta de la fábrica presenta diferencias en propósito, complejidad y contexto respecto del quinto piso. Con todo, también hay diferencias entre evaluar una política pública sectorial instalada permanentemente en la estructura del sector público (como la de turismo), una transversal también estructural en la Administración (como la de igualdad) y una transversal sin incardinación institucional estable propia (como la de transformación del modelo de cuidados). Por último, evaluar una política pública no es siempre y cada vez evaluarla toda entera[ix].
En lo relativo al conocimiento que habilita para la evaluación de políticas públicas, lógicamente, encontramos continuidades y discontinuidades entre la planta quinta y la sexta de la fábrica (como las había entre los saberes mencionados en el piso tercero y el cuarto). En todo caso, aunque, lógicamente, la comunidad de conocimiento representada en la planta sexta ha de ser menor que la de la quinta, quizá esté, proporcionalmente, más fragmentada en función de opciones metodológicas y disciplinas de referencia, con enfoques o subrayados más o menos descriptivos, experimentales, cualitativos, normativos, ideológicos, participativos, teóricos, cuantitativos, pragmáticos o críticos (en pinceladas sin pretensión clasificatoria). Por cierto que, en este momento, una atmósfera mediática y digital alienante, individualista, polarizadora, negacionista y reaccionaria desafía a observatorios, consultoras, cátedras, think tanks u otros dispositivos a potenciar el conocimiento ético, científico, técnico y práctico para la evaluación de políticas públicas con vectores narrativos e inspiradores de sentido, legitimación y movilización como los que tienen que ver con conceptos como participación, sostenibilidad, proximidad, datos abiertos, comunidad, transparencia, productividad, agilización, conectividad, prosperidad, colaboración, esperanza y otros[x]. Para no ser un conocimiento estéril.
La séptima planta de la fábrica está dedicada a la institucionalización de la evaluación de políticas públicas. Y tiene sentido este séptimo piso porque una cosa es la evaluación de políticas públicas (sin más) y otra cosa es la evaluación de políticas públicas institucionalizada. Institucionalizar la evaluación de políticas públicas supone optar por una determinada fórmula jurídica de incardinación en el sector público de un nuevo agente específicamente dedicado a ella, coherente con un determinado posicionamiento estratégico en el seno del entramado de agentes interesados e implicados y ante en su entorno, partiendo de una determinada comprensión (modelo, si se quiere) de la evaluación de políticas públicas[xi].
¿Y qué conocimientos o saberes se necesitarán para la institucionalización de la evaluación de políticas públicas? Pues diríamos que, a quienes quieran acometer o sostener un proceso de institucionalización de la evaluación de políticas públicas, no les vendrá mal llevar en la mochila, al menos: un buen conocimiento del corpus metodológico propio de la evaluación, saberes jurídicos sobre la configuración y funcionamiento del sector público y un buen bagaje en el campo de la dirección estratégica. Por lo demás, en un mundo en policrisis y aparente aceleración de la frecuencia de disrupciones sistémicas, en el que las ventanas de oportunidad política se pueden abrir y cerrar en un parpadeo, lo más prudente es suponer que no sabemos lo que tenemos que saber y, por lo tanto, dedicar siempre tiempo a la actualización, sistematización, formación, investigación, desarrollo e innovación[xii].
Además, nuestra visita a la fábrica no ha terminado. Advertimos que desde la séptima planta se accede al ático donde se realiza (se representa) la acción de gobierno, pero el acceso no parece directo y fácil. Además, a ese ático se accede también desde un terrado en el que se produce (en nuestra metafórica fábrica) la conversación, la disputa y la regulación públicas democráticas. ¿Cómo se gobierna atendiendo a los resultados y recomendaciones que vienen de la séptima planta (evaluación de políticas públicas institucionalizada) y, a la vez, a las propuestas, reivindicaciones o presiones que llegan desde el terrado (conversación, disputa y regulación públicas)?[xiii] ¿Cómo se construyen participativamente políticas públicas basadas en la evidencia? ¿Cuánta seguridad tenemos sobre la recomendación que hacemos desde el séptimo piso a la persona que toma las decisiones en comparación con las que le plantean desde el terrado o, simplemente, frente al dejar hacer, dejar pasar?
Por otra parte, no olvidemos que en la planta baja hay una serie de conocimientos, capacidades o competencias básicas, esenciales o clave de carácter matemático, lingüístico, lógico, estadístico, digital y así sucesivamente[xiv]. Se trata de saberes que, frecuentemente, se dan por supuestos en los siete pisos que hemos visitado: aprendizajes por los que hay que pasar antes de subir a cualquiera de las plantas de nuestra fábrica. Aparte, nos faltaba referirnos a:
- Una escalera exterior por la que se puede subir y desde la que se puede acceder al ático que es la de la filosofía, la ética y la ideología. También, ciertamente, es una escalera comunicada en ambos sentidos con cada uno de los pisos de la fábrica (los saberes representados en esta escalera y los presentes en cada una de las plantas dialogan entre sí).
- Ascensores dentro del edificio que representan otras vías diferentes a la evaluación de políticas públicas para lograr una acción de gobierno basada en el conocimiento, como, por ejemplo, el asesoramiento experto, el asesoramiento científico o la incidencia política.
- Un ascensor exterior que representa la ciencia de datos y la inteligencia artificial[xv], capaces de alterar las cadenas de valor o procesos de trabajo, modificando, acelerando, fusionando, abaratando o eliminando disruptivamente eslabones o pasos.
Después de recorrer toda la fábrica podemos volver a la séptima planta y reflexionar estratégicamente sobre la institucionalización de la evaluación de las políticas públicas. Comenzamos por alegrarnos de que el desafío que tenemos delante nos está obligando a discurrir, a aprender y a experimentar. A leer, escuchar y conversar. A no dar cosas por supuestas ni quedarnos con la primera respuesta que se nos ocurra. La visita al edificio nos ha hablado, sobre todo, de complejidad, de la necesidad de pertrecharnos, al menos, en unos cuantos de los sitios que hemos visitado dentro de la fábrica. Hemos de visualizar y sopesar pros y contras de diferentes constelaciones y secuencias de decisiones estratégicas que hemos de tomar sobre aspectos clave.
Si la evaluación se institucionaliza se hace, ella misma, política pública que ha de ser capaz de someterse a evaluación en tanto que actividad y en tanto que política pública. No debe haber contradicción entre su praxis y su discurso y debe ser la primera en reconocer sus debilidades y limitaciones, fruto de su momento histórico, como herramienta cognoscitiva. Debe saberse (y saberse gestionar como) bien de mercado, activo público y recurso compartido por comunidades de práctica y conocimiento. Debe enriquecerse y potenciarse en las relaciones entre agentes de las políticas (incluyendo destinatarias), academia, profesionales, Administración y ciudadanía [xvi]. Sin embargo, evidentemente, hay que arriesgar y, por supuesto, una verdad que no cambia: trabajar, trabajar y trabajar. Nunca es suficiente, pero desde luego, es imprescindible.
[i] euskadi.eus/besaldi
[ii] GÓMEZ, F.J. ¿El mito de la ciencia interdisciplinar? Obstáculos y propuestas de cooperación entre disciplinas. Madrid: Los libros de la catarata, 2016.
[iii] FANTOVA, F. Diseño de políticas sociales. Fundamentos, estructura y propuestas. Madrid: CCS, 2014.
[iv] INNERARITY, D. Una teoría crítica de la inteligencia artificial. Barcelona: Galaxia Gutenberg. 2025.
[v] GARDE, J.A. y LÓPEZ, A.M. “Institucionalización de la evaluación y auditoría operativa: ¿Rivalidad o complementariedad?”. Revista Española de Control Externo. 68, 2021, p. 48-65.
[vi] LIGERO, J.A. et al. Rayuela. Un ejercicio de reflexión y comprobación para hacer una evaluación consciente. Madrid: Means, 2019.
[vii] BRANCHINI, B. La Teoría del Cambio: una herramienta clave para la evaluación y la planificación de programas sociales. fresnoconsulting.es, 2024.
[viii] OCDE. Recomendación del Consejo sobre la evaluación de las políticas públicas. 2022.
[ix] CASADO, J.M. y DEL PINO, E. “Evolución, situación actual y retos de la evaluación de políticas públicas en las Administraciones españolas”. Cuadernos Económicos de Información Comercial Española. 102, 2021, p. 13-38.
[x] PATTON, M.Q. “Public policy evaluation: origins and evolution”. VARONE, F. et al. Handbook of public policy evaluation. Cheltelham, Elgar, 2023, p. 16-30.
[xi] PANIAGUA, M. “El uso de registros administrativos tributarios y de Seguridad Social para el diseño y la evaluación de políticas públicas: la creación del Ingreso Mínimo Vital”. Centro Interamericano de Administraciones Tributarias. 2025.
[xii] SCHÖN, D. El profesional reflexivo. Cómo piensan los profesionales cuando actúan. Barcelona, Paidós. 1998.
[xiii] AEVAL. Fundamentos de evaluación de políticas públicas. 2010.
[xiv] SPIEGELHALTER, D. El arte de la estadística. Cómo aprender de los datos. Madrid, Capitan Swing. 2023.
[xv] NIELSEN, S.B. et al. “Evaluation in the era of artificial intelligence”. NIELSEN, S.B. et al. Artificial intelligence and evaluation. Emerging technologies and their implications for evaluation. New York: Routledge, 2025, p. 1-12.
[xvi] EUROPEAN COMMISSION. Evaluation handbook. European Union. 2024.