El diseño básico del Marco Común de Evaluación se desarrolló durante la presidencia finlandesa de la UE, partiendo de un análisis conjunto emprendido bajo la presidencia austriaca (segunda mitad de 1998) por la EFQM(1), la Academia de Speyer(2) y el EIPA(3) , y de las directrices de selección preparadas por la academia de Speyer bajo la presidencia alemana (primera mitad de 1999).

En los últimos años la metodología CAF ha sido experimentada principalmente en algunas organizaciones del sector público de Bélgica, Italia, Francia, Alemania, Portugal y Suecia. El análisis de los resultados obtenidos ha llevado a los miembros del grupo de trabajo CAF a realizar una nueva revisión de la metodología, haciéndola más compatible y sinérgica con el modelo EFQM. La versión final del CAF, ultimada durante las presidencias española y danesa, se ha presentado oficialmente en la Segunda Conferencia de Calidad para las Administraciones Públicas de la Unión Europea, que tuvo lugar en Copenhague los días 2, 3 y 4 de Octubre de 2002.

El CAF es propiedad intelectual de todos los Estados Miiembros de la Unión Europea, aunque en el EIPA hay un "Centro de Recursos" para apoyar y facilitar su implantación. En cualquier caso, es preciso reconocer y agradecer la continua cooperación y asistencia de la Academia de Speyer y de la EFQM, sin las cuales el CAF no habría podido llevarse a término.

El Marco Común de Evaluación se presenta como una herramienta para que las administraciones públicas de la UE comprendan y utilicen las técnicas de gestión de calidad en la Administración Pública(4). El principal propósito del CAF es proporcionar un marco sencillo y fácil de usar, apropiado para que las organizaciones del sector público de toda Europa puedan hacer una autoevaluación. Este marco incorpora las características principales tanto del modelo EFQM (1999) como del modelo Speyer, beneficiándose por otra parte de las adaptaciones del modelo EFQM desarrolladas en varios Estados miembros de la UE para adecuarlo a las organizaciones de Administración Pública en general. El diseño básico del Marco, por consiguiente, se basa en dos principios:

1. Relevancia y adecuación respecto a las características específicas de las organizaciones de la Administración Pública, y
2. Compatibilidad con los principales modelos organizacionales empleados hoy en día en Europa, tanto en la Administración Pública como en las organizaciones privadas.

En todos los Estados miembros de la UE se están aplicando - en el sector público, en el privado o en ambos- programas de Gestión de Calidad que utilizan distintos modelos y metodologías. Además de estos programas, hay que mencionar el Programa del Premio Europeo a la Calidad, al que pueden optar organizaciones tanto públicas como privadas de todos los Estados miembros.

El CAF persigue tres propósitos principales:

1. Servir como herramienta introductoria para los administradores públicos que deseen mejorar sus técnicas de gestión y que podrían estar interesados en la aplicación de la Gestión de Calidad en sus propias organizaciones, y quieran aplicar a su organización una autoevaluación sencilla para obtener una primera impresión sobre cómo usar dichas herramientas;
2. Hacer de "puente" entre los diferentes modelos y metodologías que se usan en la Gestión de Calidad de la Administración Pública en los distintos países de la UE, introduciendo alguna dosis de comparabilidad en los resultados producidos por los distintos sistemas, y
3. Permitir la introducción de estudios de benchmarking [evaluación comparativa o de referencia] entre las organizaciones del sector público.

Comparado con un modelo de Gestión de Calidad plenamente desarrollado, el CAF es un marco muy "ligero" que se aplica únicamente a los niveles más altos de desagregación organizacional. Se supone que cualquier organización que desee emprender un programa más ambicioso de análisis y desarrollo escogerá para ello uno de los modelos más completos (como el de la EFQM o el de Speyer). Pero es precisamente este carácter "ligero" del CAF lo que le permite ser compatible con los principales modelos.

El Marco Común de Evaluación proporciona un método de autoevaluación por el cual un grupo ad hoc de empleados de una organización puede llevar a cabo una establecidas en su metodología. Este procedimiento de autoevaluación es claramente menos riguroso y menos detallado que una evaluación de la organización llevada a cabo por evaluadores externos acreditados. No obstante, también es mucho menos cara y presenta algunas ventajas, como poner de manifiesto qué percepción tienen los empleados de su propia organización. El CAF permite plantear cuestiones interesantes sobre el rendimiento y los resultados obtenidos por la organización, y a partir de aquí proporcionar una base para planificar su desarrollo y su mejora.

El CAF emplea una estructura de nueve casillas para identificar los principales aspectos de una organización que deben ser tomados en consideración en cualquier análisis organizacional. En cada una de estas casillas hay una lista de criterios que identifican y plantean los elementos o temas principales que deben tenerse en cuenta en relación con ese aspecto de la organización.

Los criterios 1 a 5 se denominan Agentes Facilitadores. Los criterios 6 a 9 son los Resultados. La arquitectura del CAF puede verse en el gráfico siguiente.

Cada uno de estos criterios se subdivide a su vez en un número variable de subcriterios, hasta un total de 27, que explican el contenido del criterio, como puede verse en el cuadro siguiente.

Hay seis opciones de evaluación para cada subcriterio. Las respuestas para hacer la evaluación serán necesariamente distintas según se trate de agentes facilitadores o de resultados, de modo que se usarán dos diferentes paneles de respuestas.

Los criterios agentes facilitadores se evaluan en función del desarrollo alcanzado por la organización en las acciones llevadas a cabo o desplegadas para conseguir su mejora, siguiendo el esquema universal del ciclo PDCA (Plan - Do- Check-Act), según se ve a continuación.

Los criterios resultados se evaluan en base a las mediciones que la organización realiza de los logros alcanzados, de sus tendencias temporales, positivas o negativas, y de su comparación con los propios objetivos y con organizaciones de referencia.

Los paneles de valoración permiten "puntuar" cada una de las respuestas con valores dentro de una escala de 0 a 5. Dentro de cada criterio se calcula la media de las puntuaciones asignadas a los subcriterios para obtener un resultado global para ese criterio, y los resultados de los nueve criterios se suman para producir un resultado global para el conjunto de la organización. Este sistema de puntuación permite realizar algunas comparaciones básicas entre los resultados de distintas organizaciones, tanto en general como comparando los diferentes criterios.

Naturalmente, el resultado de la autoevaluación depende totalmente de la precisión y la sinceridad del evaluador o evaluadores. Al responder a cada pregunta, a los evaluadores se les pide que consideren las evidencias o pruebas concernientes a las estructuras, actividades o resultados reales de sus respectivas organizaciones.

A diferencia del Modelo EFQM, que siendo originario del sector privado ha sido posteriormente adaptado al sector público, el CAF es un modelo diseñado y desarrollado específicamente para ser utilizado por organizaciones del sector público europeo, si bien está basado en el propio esquema del Modelo EFQM.

Como se ha expuesto, el CAF, al igual que el Modelo EFQM, emplea una estructura de nueve criterios - 5 criterios "agentes facilitadores" y 4 criterios "resultados"-, de similar denominación, para identificar los principales aspectos de una organización que deben ser tomados en consideración en cualquier análisis organizacional. Cada uno de estos criterios se subdivide a su vez en un número variable de subcriterios que explican el significado del criterio. El número total de subcriterios del CAF es 27, mientras que el Modelo EFQM cuenta con 32. Las denominaciones de los respectivos subcriterios, al ser éstos más detallados, difieren algo más que las de los criterios.

El sistema de valoración empleado en uno y otro modelo se diferencia por el procedimiento de medición y puntuación:

• El modelo EFQM, como se ve en el cuadro anterior, pondera de forma específica a cada uno de los criterios que lo componen. El CAF, por el contrario, da el mismo peso a todos ellos.
• La métrica para la puntuación del Modelo EFQM, asociado al análisis valorativo de la organización, sigue el denominado Esquema Lógico REDER (Resultados, Enfoque, Despliegue, Evaluación y Revisión), con una escala de valoración de 0 a 100 puntos para cada subcriterio y que se aplica con dos matrices ad hoc (según se trate de "facilitadores" o de "resultados"). En el CAF, como hemos visto, se utilizan dos paneles diferentes de valoración para los criterios agentes y para los criterios resultados, con una escala de valoración que va de 0 a 5 en ambos casos.

El proceso de autoevaluación que se sigue en el CAF es más sencillo y requiere menos recursos que en el Modelo EFQM.

Aún cuando en ambos se necesita un grupo ad hoc que lleve a cabo la autoevaluación, en el CAF este grupo puede trabajar sin la intervención de un facilitador externo y sin una formación específica previa, cosas que en el Modelo EFQM aparecen como elementos imprescindibles.

Del proceso de autoevaluación, la metodología CAF obtiene fundamentalmente un diálogo constructivo dentro de la organización para el desarrollo y la mejora y una identificación de los puntos fuertes y débiles de la organización que la alta dirección transformará posteriormente en planes específicos de mejora.

Una organización que quiera implementar metodologías de autoevaluación basadas en la gestión de calidad debe considerar las ventajas e inconvenientes de optar por un modelo como el CAF, que está concretamente orientado a organizaciones públicas y que es más sencillo que el modelo EFQM. Además, la experiencia adquirida con el CAF puede ser utilizada posteriormente para abordar un proceso de autoevaluación más complejo basado en el modelo EFQM.

El CAF, como otras herramientas similares de análisis organizacional, puede emplearse también para apoyar el benchmarking. En su acepción más sencilla, el benchmarking es un proceso a través del cual una organización trata de compararse con otras organizaciones similares o evaluar su propia estructura y rendimiento. La finalidad de establecer tal comparación es básicamente la de encontrar las mejores formas de hacer las cosas, basada en los buenos resultados conseguidos en otras organizaciones.

La búsqueda de los puntos de referencia (benchmarks) más adecuados debería tener teóricamente por finalidad encontrar las comparaciones más útiles. No es solo cuestión de encontrar una organización de prestigio o con un rendimiento global sobresaliente, sino que habría que afinar la búsqueda para encontrar organizaciones que hayan logrado resultados sobresalientes en los aspectos organizacionales que constituyen una prioridad para la organización.

Esta búsqueda "finalista" necesita algunas herramientas de análisis que puedan evaluar el rendimiento de las organizaciones en los diferentes aspectos de sus actividades y proporcionar "medidas estándar" para apoyar la comparación con otra organización. El CAF puede servir en este sentido; de hecho, fue concebido en un principio como una herramienta normalizada para emplearse en las administraciones públicas de la UE, que hiciera de "puente" entre los distintos modelos usados en los países comunitarios.

El Instituto Europeo de Administración Pública (EIPA) ofrece a las organizaciones públicas de la UE un servicio de apoyo a dicho benchmarking internacional. Cualquier organización que use la web del EIPA (www.eipa.nl) para el tratamiento de las evaluaciones CAF recibirá de retorno el perfil resultante de la autoevaluación, así como un análisis comparativo con respecto a los promedios de otras organizaciones similares.

El EIPA también pretende ofrecer un servicio que establezca contactos entre organizaciones públicas que estén interesadas en el benchmarking entre organizaciones comparables de diferentes países. Las evaluaciones CAF suministradas al EIPA son confidenciales y no se facilitarán a nadie más. No obstante, el EIPA utilizará una base de datos de resultados para contestar peticiones de adecuada comparación y proporcionará señas de contacto con las organizaciones que estén dispuestas a colaborar en el benchmarking, una vez acordado esto con las organizaciones involucradas.

Desde 1999, el Ministerio de Administraciones Públicas (MAP), a través de la Dirección General de Inspección, Simplificación y Calidad de los Servicios, está desarrollando un programa de autoevaluación de las organizaciones de la Administración General de Estado, siguiendo el Modelo EFQM de Excelencia, y en este marco creó asimismo el Premio a la Calidad y los Premios a las Mejores Prácticas.

Paralelamente, coopera con los demás países de la Unión Europea en el desarrollo de nuevas metodologías de Gestión de Calidad a través del Grupo de Servicios Públicos Innovadores (IPSG) que, a su vez, tutela el Grupo de Trabajo del CAF. Estos grupos desarrollan su labor por mandato de los Directores Generales responsables de Administración Pública en los Estados Miembros de la UE.

En este contexto de compromiso, el MAP, a través de la Dirección General de Inspección, Simplificación y Calidad de los Servicios (INSCAL), ha empezado a desarrollar una labor de difusión del CAF como metodología introductoria al Modelo EFQM, en aquellos ámbitos del sector público que lo solicitan. Para ello, se han ejecutado las siguientes acciones:

• Traducción al castellano del modelo CAF completo y su guía de uso.
• Edición de un folleto divulgativo en díptico para difundirlo preferentemente entre las entidades locales.
• Redacción de un caso práctico para facilitar los ejercicios de aprendizaje del CAF
• Desarrollo de una aplicación informática para la autoevaluación on-line y el soporte de una red de benchmarking con el CAF (acceso desde www.igsap.map.es)
• Firma el 15 de abril de 2003 de un Convenio de Colaboración con la Federación Española de Municipios y Provincias (FEMP) en materias de modernización y calidad que contempla toda una serie de medidas para que el MAP dé soporte técnico y formativo a las entidades locales federadas que deseen emprender la autoevaluación con el CAF.

Asimismo, la INSCAL ha abordado experiencias concretas de implantación del CAF en dos entidades locales: el Ayuntamiento de Totana (Murcia), en marzo de 2003, y la Mancomunidad de Municipios del Bajo Guadalquivir (Lebrija- Sevilla), en junio de 2003.

Madrid, 14 de julio de 2003

(*) Esta ponencia se ha redactado siguiendo los documentos de trabajo del IPSG y del EIPA.

(1) European Foundation for Quality Management, Bruselas, Bélgica.

(2) Deutsche Hochschule für Verwaltungswissenchaften, Speyer, Alemania.

(3) European Institute for Public Administration, Maastricht, Holanda.

(4) Para esta metodología se usan distintos términos, como Gestión de Calidad Total y Excelencia Empresarial. Para simplificar, en este documento se empleará el término Gestión de Calidad (GC).