Voy a comenzar esta presentación con una afirmación polémica: A pesar de lo que se lee o se oye en textos y foros relativos a la calidad en los servicios públicos, no hay que prestar servicios públicos tal como los demanda el usuario o potencial usuario(2).

Esta afirmación por sí sola podría plantear un debate muy rico, pero antes de ello quiero desarrollar esta idea enlazándola con el esfuerzo de la Administración Pública española actual por introducir el elemento de la "calidad" en su gestión.

En el marco de unas jornadas sobre "calidad total en los servicios públicos y en la empresa" organizadas por el Ministerio de Administraciones Públicas (MAP) en 1992, se afirma que los servicios que presta la Administración Pública pueden ser definidos en tres categorías:

a. Servicio genérico, que se corresponde con los servicios básicos, sin definir características especiales o de calidad, por ejemplo el compromiso de dar atención hospitalaria. Este compromiso se puede cumplir de distintas formas, incluso manteniendo camas con enfermos en los pasillos por no haber habitaciones disponibles. Aún así se podrá afirmar que el servicio se presta, al menos de un modo genérico.
b. Servicio esperado, en el que se definen características del servicio que, dado el nivel cultural y de renta de la población atendida, los ciudadanos pueden razonablemente esperar obtener. Por ejemplo, la atención hospitalaria se realizará en el momento en que el médico lo decida, y el paciente no pasará a ocupar un lugar en las listas de espera.
c. Servicio enriquecido. Cuando se define el servicio con cualidades que quizás no se pueden exigir pero que proporcionan un nivel de calidad superior, mejorando y haciendo más atractivo el servicio. Por ejemplo, las habitaciones del hospital serán individuales y dispondrán de teléfono y televisión.

El autor(3) afirma que cada nivel se añade al anterior, consiguiendo un producto de mayor calidad (MAP, 1992:98/9).

En una primera lectura todos o casi todos los lectores del texto podríamos estar de acuerdo con esta clasificación, pero... ¿quién elige el orden de prioridades de las diversas características de los servicios? ¿quién decide qué características demandadas para un determinado servicio público tienen que ser satisfechas, o serán satisfechas en algún momento, y cuáles no?. El ejemplo del servicio hospitalario parece ser un servicio con amplio consenso sobre las características que debe cumplir, y en el año 92 (así lo defendía el autor de la ponencia comentada), parecía aceptable que se pidiera, y que la Administración Pública intentara ofrecer, (a) una prestación hospitalaria básica, (b) sin listas de espera, (c) pero sin habitaciones individuales, ni teléfono ni televisión. No muchos años después, en cambio, parece ser aceptable que la Administración Pública ofrezca un servicio hospitalario con las características del grupo (c). Al menos así se ha anunciado para el nuevo hospital que se está construyendo en Madrid donde antes se encontraba la maternidad de la calle O'Donell. Y esta anécdota me lleva otra vez a las preguntas: ¿hasta dónde tiene que ampliarse el gasto público para el servicio hospitalario? ¿este servicio tiene que incluir todas las demandas que el usuario-cliente demande?. Seguramente también estaríamos todos o casi todos de acuerdo en que la respuesta a esta última pregunta es "no", pero... ¿cuáles sí y cuáles no? ¿con qué orden de prioridades?. Por ejemplo, en la universidad pública ¿son más importantes aulas menos masificadas en las asignaturas obligatorias o una mayor variedad de asignaturas optativas(4)? ¿deben ofrecerse plazas a todos los alumnos que lo deseen en la carrera de su elección? ¿deben darse clases particulares gratuitas de apoyo si así lo solicitan los alumnos de la universidad?.

La visión del usuario de los servicios públicos como "cliente" puede en algunos casos resultar errónea, porque la Administración Pública tiene una función de servicio público general que trasciende la del servicio que se presta a cada uno de los usuarios de sus servicios concretos en cada momento. Esto es así porque la Administración Pública vela por el conjunto de la sociedad y no siempre en relación con las personas sobre las que actúa. Es decir, no se puede aplicar el concepto de "calidad", de "cliente" y de "satisfacción del cliente" en las administraciones públicas sin matices, porque el reparto del gasto público es una decisión política, y aunque hay que subrayar que ese gasto público tiene que ser eficiente, no puede, ni debe pretender, satisfacer las demandas de todos y cada uno de los "clientes". Esto sí se puede o se podría hacer en el sector privado, siempre que el cliente pueda y esté dispuesto a pagar por el servicio que desea. Por el contrario, las administraciones públicas tienen que decidir, bajo directrices políticas y técnicas, qué servicios se van a ofrecer, con qué elementos o dimensiones de la "calidad" se van a prestar cada uno de los servicios, y cuáles características son prioritarias sobre otras. Y esto no significa, por supuesto, que no se escuche a los usuarios-clientes para conocer su grado de satisfacción y sus demandas,(5) pero teniendo claro (y dejando claro) que estas no son las que determinarán, en última instancia, la configuración de los servicios públicos y de sus características.

Algunas características que ahora puede pensarse que son inaceptables para los servicios públicos (o que son demasiado caras para que deban ser sufragadas por el erario público) puede que en un futuro sean consideradas como características "esperables". Como ha sucedido en pocos años con la idea de habitaciones individuales, con teléfono, televisión y cama para acompañante en los servicios hospitalarios públicos.

Incluso me atreveré a formular otra cuestión polémica. El actual discurso sobre la relación entre satisfacción del cliente y calidad en las administraciones públicas afirma basarse en el mismo enfoque que se aplica en las compañías privadas. Sin embargo, el principal objetivo de las organizaciones con ánimo de lucro no es la satisfacción del cliente, sino la satisfacción del capital. Aunque, es verdad, ahora se está utilizando el concepto de "satisfacción del cliente" en el ámbito privado porque se piensa que es un elemento (o medio) clave para conseguir la maximización del beneficio, y como arma comercial. La satisfacción del cliente por sí sola no basta para garantizar el éxito de las organizaciones (ni privadas ni públicas)(6).

El modelo de definición de actuaciones públicas basado en la satisfacción del cliente se justifica de dos maneras distintas. En primer lugar, tiene como fundamento ideas políticas que presuponen la superioridad del mercado sobre el Estado. Se cree que las presiones de los consumidores, expresadas a través de opciones en los mercados políticos o como actitudes hacia la prestación de servicios públicos, conducirán a una mejora de los programas y servicios públicos y a una mayor satisfacción de los consumidores. La valoración de las actuaciones públicas en función de la satisfacción del cliente se basa en la idea de que la Administración Pública produce bienes y servicios para los consumidores en el mercado, es decir, en la teoría de la administración movida por el mercado. En segundo lugar, para apoyar la valoración y determinación de los servicios públicos en función de la opinión del cliente, se presentan con frecuencia razones de carácter democrático y participativo. El énfasis en la participación sugiere que los clientes pueden expresar sus quejas y deseos a los suministradores de servicios y, hasta cierto punto, influir sobre el contenido de los servicios (VEDUNG, 1997:90/94).

Pero volvamos al concepto de calidad y su relación con la satisfacción del cliente tal como se está utilizando actualmente en el ámbito de las administraciones públicas a través de otra cita, esta vez de Constantino Méndez Martínez, en ese momento Secretario de Estado para la Administración Pública, Ministerio de Administraciones Públicas (MAP, 1996:12(7)):

"La satisfacción de las demandas de los ciudadanos, es decir, que los servicios públicos se dispensen, dentro siempre de las obvias limitaciones presupuestarias, de acuerdo con lo que los ciudadanos esperan, no es otra cosa que el estándar que debe medir y servir como objetivo de calidad de estos servicios públicos".

Esta afirmación es, desde mi punto de vista, un error de énfasis. Los estándares y las características de los servicios públicos deben ser una decisión política, siempre -por supuesto- con apoyo y asesoría técnica, conociendo las preferencias de la población destinataria y considerando las limitaciones presupuestarias, entre otras cuestiones.

¿Cuál es el problema? ¿Por qué no se puede satisfacer a todos los "clientes" (actuales y potenciales) de las administraciones públicas?. El concepto de "satisfacción", o de "calidad" desde el punto de vista del usuario, es subjetivo. Los consumidores individuales tienen diferentes gustos y necesidades. De hecho, el contenido del concepto de "necesidad social" es cambiante, tanto históricamente como en relación a la ubicación social del individuo o del grupo(8). La "calidad", desde este punto de vista, es personalizada y subjetiva (JAMES, 1997). Las organizaciones con ánimo de lucro pueden tener interés en satisfacer todas las demandas de los clientes que estén dispuestos a pagar por ellas. Las administraciones públicas no, en primer lugar porque no existe un consenso entre todos los habitantes sobre qué servicios son prioritarios y cuáles son las características de los mismos que determinan su "calidad" y que deben ser priorizadas. En general, el número de actores afectados (positiva o negativamente) por un servicio o programa puede ser elevado. De hecho, con frecuencia no existe un único "cliente tipo", sino varios grupos con expectativas que pueden ser en parte coincidentes, pero también en parte diferentes, por lo que resulta difícil satisfacer a toda la población mediante la producción de servicios normalizados. Cada observador o grupo de observadores identifica diferentes dimensiones de un servicio, y las valora de diferente manera. Es decir, la calidad es pluridimensional. Las diferentes dimensiones de un servicio que se puedan identificar no suelen tener la misma importancia ni el mismo orden de prioridad para diferentes usuarios (BAÑÓN y CARRILLO, 1996:177/178). Son inevitables los desacuerdos acerca de la clase de criterios de evaluación (o valoración) que son significativos, justos o políticamente aceptables en una situación dada. Es decir, puede haber dificultades para ponerse de acuerdo sobre los criterios cuando hay en juego diferentes valores e intereses (MAJONE, 1997:214/215). Además, las demandas de mayor calidad de los servicios públicos prestados son prácticamente insaciables, en especial si opera algún tipo de "efecto demostración" a partir de lo que sucede (o se supone que sucede) en los servicios públicos prestados en otros países, o en los que presta el sector privado, o simplemente por unas expectativas al alza derivadas, por ejemplo, de un cambio político o un cambio de gobierno (BELTRÁN VILLALVA, 2000:86).

Pensando en el concepto de "calidad" de los servicios prestados por las administraciones públicas podemos relacionarlo con otros conceptos, por ejemplo: cobertura (puede referirse a la cobertura territorial o al tipo de población atendida); atención rápida, inmediata, sin listas de espera; entrega inmediata, utilización inmediata del servicio desde el momento en que se solicita; atención personalizada; confianza, etc.

Pero, ¿cuál es la característica más importante? ¿cuáles son las que le podemos exigir a un determinado servicio público en la actualidad? ¿y en un futuro?.

Un ejercicio interesante para apoyar la argumentación de este trabajo es resumir diferentes estudios comparativos de un mismo servicio, y ver cómo la utilización de diferentes criterios de valoración han llevado, o pueden llevar, a conclusiones muy distintas sobre "el mejor" o "el peor". Por encontrarme en el ámbito universitario, y por estar de actualidad, me ha parecido oportuno centrarme en la valoración de la enseñanza universitaria(9).

Hace un tiempo pudo conocerse a través de los medios de comunicación la intención del Ministerio de Educación de elaborar un ranking de universidades, o -mejor dicho- un ranking de las titulaciones entre las diferentes universidades(10). Según los responsables del Ministerio, esto es así por diversas razones, entre otras, fomentar la competencia entre universidades y facilitar información al alumnado sobre cómo funciona cada carrera. Esta iniciativa toma una gran importancia en el contexto del actual "distrito abierto"(11) para la elección de universidad por parte de los alumnos(12).

Según la información recogida en el artículo de prensa mencionado, este ranking se haría con los siguientes indicadores(13):

• ordenadores por estudiante,
• tamaño de la biblioteca,
• nota media de los alumnos que acceden a la titulación,
• duración media real de los estudios e
• inserción de los licenciados en el mercado de trabajo.

Sin embargo, la idea de evaluar las diversas universidades españolas no es nueva en el Ministerio. De hecho, en 1992 se aprobó un "Programa experimental de evaluación de la calidad del sistema universitario", que se llevó a cabo entre los años 1992-1994, con participación de diecisiete universidades. Paralelamente, cuatro universidades españolas participaron en el "Proyecto piloto europeo para la evaluación de la calidad de la enseñanza superior", patrocinado y desarrollado por la Unión Europea entre los años 1994 y 1995(14). En 1995, como consecuencia de estas experiencias, por iniciativa del Consejo de universidades (CONSEJO DE UNIVERSIDADES, 1995a) y a propuesta del Ministerio de Educación y Ciencia, se estableció con un Real Decreto el "Plan Nacional de Evaluación de la calidad de las universidades". Este Plan Nacional contemplaba un período de actuación de cinco años, ejecutable a través de convocatorias anuales de proyectos de evaluación institucional de calidad presentados por universidades públicas y privadas (MINISTERIO DE EDUCACIÓN Y CIENCIA, 1995)(15). Dentro del primer Plan Nacional hubo cuatro convocatorias (en los años 1996, 1998, 1999 y 2000)(16). En abril de 2001 se aprobó el II Plan de Calidad de las Universidades, con una vigencia de seis años(17). La evaluación puede realizarse en tres ámbitos: enseñanza, investigación y servicios. Y es llevada a cabo de acuerdo con las directrices establecidas en la "Guía de Evaluación". Esta "Guía" explica la forma en que debe organizarse la evaluación, la metodología a utilizar (con una evaluación interna, o "autoevaluación", y una evaluación externa(18)), el tipo y contenido de los informes a elaborar, los temas que se deben abordar, el tipo de información a recoger, los indicadores a utilizar, las tablas a cumplimentar, los colectivos a entrevistar, etc. (CONSEJO DE UNIVERSIDADES, 1998b)(19). Sin embargo, aunque se enfatiza la utilización de un método común, no pretende conseguir una clasificación jerárquica de las universidades, ya que no se determinan a priori qué criterios (o características) determinan la calidad de la institución universitaria. Es decir, no se establece cuáles son los indicadores a los que se debe prestar más importancia. Esto es así por decisión explícita de sus impulsores (CONSEJO DE UNIVERSIDADES, 2000b:35), y se corrobora si consideramos que la participación de las universidades ha sido voluntaria. Sin embargo, es posible que esto cambie, ya que dentro de las recomendaciones recogidas en el Informe anual de la segunda convocatoria del Plan Nacional destaca la siguiente propuesta para el futuro: "definir con mayor claridad los indicadores de calidad que se deben utilizar" (CONSEJO DE UNIVERSIDADES, 2000b:28). Propuesta que, por otro lado, estaría en concordancia con la intención del Ministerio de Educación de establecer un ranking entre las titulaciones de las diversas universidades, como ya se mencionó al principio de este apartado.

Son muchos los indicadores que la Guía sugiere utilizar. Es decir, son muchas las características de las universidades que el Consejo de Universidades (y el Ministerio de Educación) consideran relevantes para conocer la calidad de una universidad, aunque no se menciona su importancia relativa, lo que impediría hacer un ranking de las universidades evaluadas. Por ello, cualquier listado parcial de indicadores utilizados en el "Plan Nacional de Evaluación de Calidad de las Universidades" que se enumere en este trabajo podría ser sesgado. Sin embargo, a modo de ejemplo podemos señalar los siguientes (CONSEJO DE UNIVERSIDADES, 1998b):

• número de profesores por edad;
• número de profesores por sexo;
• tasa de abandono en el primer año (diferencia entre los alumnos de nuevo ingreso en la titulación en primer curso o equivalente y los alumnos de la misma cohorte que no se matriculan al año siguiente);
• tasa de éxito (proporción de alumnos calificados aptos sobre el total de alumnos que se presentan);
• tasa de rendimiento (proporción de alumnos calificados aptos sobre el total de alumnos matriculados);
• duración media de los estudios (años medios que tardan los alumnos en obtener la titulación);
• media de alumnos por grupo;
• porcentaje de horas reales de prácticas durante el primer ciclo;
• proporción de titulados que tienen su primer trabajo directamente relacionado con sus estudios;
• número de becas de investigación (solicitadas y concedidas);
• número de tesis doctorales por año;
• número de ponencias presentadas a congresos internacionales;
• número de proyectos del Plan Nacional por departamento;
• número de artículos publicados en las revistas que -según su área de conocimiento- se consideren "excelentes".

Como puede imaginarse, los resultados de una evaluación de la "calidad" de una determinada universidad realizada con estos indicadores (y otros muchos) pueden ser muy distintos según demos más importancia a unos indicadores que a otros(20).

Existe al menos un estudio en el que sí se ha establecido un ranking de las universidades españolas. Es el trabajo de Jesús de Miguel, Jordi Caïs y Elizabeth Vaquera, de la Universidad de Barcelona, titulado "Excelencia: calidad de las universidades españolas"(21). En este estudio se utilizaron casi un centenar de indicadores, y se eligieron seis para medir la "calidad global" de las universidades(22). Estos son, por orden de importancia según los autores, los siguientes (DE MIGUEL, CAÏS y VAQUERA, 1999b:30 y 34):

1. títulos de doctor concedidos por cada mil estudiantes;
2. porcentaje de estudiantes que terminan la carrera en los años justos, en relación a los que empezaron;
3. libros de biblioteca por estudiante;
4. porcentaje de profesores en relación al número de alumnos;
5. número de centros con carreras largas; y
6. porcentaje de mujeres profesoras sobre el total.

Ponderando estos indicadores, el estudio construye un índice, que permite elaborar una escala de calidad de las universidades españolas. Utilizando estos criterios, las cinco primeras universidades de la lista están ubicadas en Madrid o Barcelona, y ocho de las diez últimas son de reciente creación (menos de diez años en el momento de realizarse el estudio) (DE MIGUEL, CAÏS y VAQUERA, 1999b:47/53).

Frente al "Plan Nacional de evaluación de la calidad de las universidades" organizado por el Consejo de Universidades (comentado con anterioridad), en este estudio hay que destacar el esfuerzo de selección de indicadores clave. Esto permite una valoración comparativa entre universidades. Sin embargo (y al hilo del contenido de esta presentación), también puede suscitar críticas y diversidad de opinión sobre la pertinencia y adecuación de los indicadores elegidos, y por no haber incluido otros indicadores que se pueden considerar importantes para la definición de "calidad".

Por ejemplo, como puede observarse, ninguno de los indicadores utilizados está relacionado con la satisfacción de los usuarios, ni se refiere a si los estudiantes obtienen empleo en el mercado laboral, de qué tipo, con qué remuneración y en qué plazo contando desde que acabaron la carrera, por citar sólo algunos indicadores que podrían ser de interés para la sociedad, para los futuros alumnos universitarios y para sus familias. Los indicadores mencionados relativos al empleo tienen relación con las consecuencias (los outcomes) del servicio universitario, una cuestión muy importante a considerar en una evaluación.

Para mencionar otro ejemplo relativo a la valoración de las universidades, podríamos citar la "encuesta de evaluación de la docencia" que es cumplimentada por los alumnos al finalizar cada cuatrimestre o cada curso lectivo (dependiendo de la estructura de los planes de estudio) cada vez en más universidades. De forma muy resumida, los indicadores que suelen utilizarse son del estilo de los siguientes: porcentaje de alumnos que consideran que ha aumentado su interés en la materia después de haber sido impartida la asignatura; porcentaje de alumnos que globalmente están muy satisfechos con el profesor de la asignatura; porcentaje de alumnos que considera que el profesor organiza bien las clases y es claro en sus explicaciones; porcentaje de alumnos que considera que el profesor enseña con entusiasmo e interés; porcentaje de alumnos que considera que el profesor promueve la participación del alumno en clase; porcentaje de alumnos que considera que el profesor llega y sale puntualmente; porcentaje de alumnos que afirman que le gustaría cursar otra asignatura con el mismo profesor; etc.

Es de esperar que ninguna universidad (ni las Comunidades Autónomas ni el Ministerio de Educación) pretendan que los resultados de esta encuesta se identifiquen como la evaluación de la universidad en su conjunto ni la evaluación del profesorado. Sin embargo, cada vez se está dando más importancia para apoyar la toma de decisiones a estos datos, es decir, a la valoración del servicio desde el punto de vista de la satisfacción del usuario.

Como hemos visto, el servicio "enseñanza universitaria" es un servicio de múltiples dimensiones, por lo que podemos elegir entre diferentes dimensiones, y dar más importancia a una o a otra, para definir la calidad en un servicio público. Según cuáles sean las dimensiones que seleccionemos (es decir, dependiendo de cuáles sean los criterios de valoración), las conclusiones de una evaluación pueden ser muy distintas. Y estas investigaciones, si se refieren al servicio de la enseñanza universitaria, pueden influir sobre los futuros estudiantes en su elección de la universidad en que quiere estudiar.

¿Y qué relación existe entre lo que se ha argumentado hasta el momento y la evaluación de servicios o programas?.

Todo lo expuesto anteriormente se relaciona directamente con la forma en que se realizan las evaluaciones. Las conclusiones (positivas o negativas) de una evaluación tendrán estrecha relación con los objetivos definidos en el programa evaluado o con los objetivos que el evaluador establezca o suponga a ese programa. Y esto se relaciona con otra importante cuestión, ¿con qué criterios estamos evaluando un programa o servicio? ¿quién o quiénes establecen esos criterios?. Por ello, dependiendo de la importancia que se le otorgue al elemento de satisfacción del cliente o al elemento de la calidad definido por el cliente, realizaremos evaluaciones de programas y servicios públicos con diferentes criterios de valoración.

Es decir, ¿quién tiene que decidir los criterios por los que se van a emitir juicios de valor sobre un programa o servicio público?. Esto es muy importante, porque al definir los criterios con los que vamos a evaluar, estamos determinando cuáles son los elementos que vamos a utilizar para valorar ese programa o servicio, para establecer el juicio de valor sobre una actuación pública. Y esto es, en definitiva, lo que se hace en una evaluación (STUFFLEBEAM y SHINKFIELD, 1987; WEISS, 1983). De hecho, la selección de criterios para juzgar los méritos es una cuestión crucial, aunque todavía poco debatida en el campo de la evaluación.
Desde mi punto de vista, las evaluaciones tienen que contar con la definición de calidad de la población objetivo, pero también con una definición política y técnica.

Es importante "medir los niveles de calidad con que se prestan los servicios públicos" (RUIZ, 1996). Sobre todo si consideramos la relevancia que para la legitimidad política tiene el grado de satisfacción de los usuarios de los servicios públicos (BELTRÁN VILLALVA, 2000:86). Pero medir la calidad de un programa o servicio sólo por un criterio, empobrece (y en algunos casos distorsiona) los resultados de una evaluación. En cada caso concreto es conveniente definir los criterios de "calidad" en función de los objetivos del programa o servicio. Siendo, como ya se mencionó, uno de los criterios a considerar la satisfacción del usuario, pero no el único.
Y sin olvidar, por supuesto, que la evaluación es un instrumento importante para mejorar la calidad de los programas y servicios (FEINSTEIN, 1996).

Comencé esta presentación con una afirmación polémica: A pesar de lo que se lee o se oye en textos y foros relativos a la calidad en los servicios públicos, no hay que prestar servicios públicos tal como los demanda el ciudadano. Definir la "calidad total" de los servicios públicos como la "satisfacción de las expectativas del cliente externo e interno al menor coste posible" (MAP, 2000a), nos hace poner el énfasis en las "demandas" y nos presenta a las administraciones públicas como organizaciones que trabajan de forma reactiva (reaccionando a problemas o necesidades que son planteados desde la sociedad civil). Esto nos puede hacer olvidar varias cuestiones:

(a) que el presupuesto público no puede responder a todas las demandas sociales;
(b) que las administraciones públicas no pueden determinar las prioridades de su actuación sólo por los deseos de sus destinatarios; y
(c) que el papel de las administraciones públicas también es prever, es decir, actuar de forma anticipativa, antes de que se manifieste la demanda por parte de la población.

Y esto no es así sólo porque la Administración Pública tenga un conjunto de características que la diferencias de una empresa privada(23), sino porque -como ya he argumentado- ni las propias empresas privadas tienen como objetivo principal la satisfacción del cliente.

Uno de los principales problemas con los que se encuentra un evaluador, es que en la mayoría de los programas y servicios públicos no existe una definición explícita de objetivos propios ni una conciencia de la conveniencia de evaluar resultados en relación con los objetivos previstos(24). Esta situación se debe, entre otras cosas, al predominio de un modelo de gestión más orientado al cumplimento de normas administrativas que a la gestión eficiente de los recursos, aunque cada vez son más los responsables de programas y servicios que impulsan iniciativas orientadas a cambiar esta situación.

Espero que tras mi exposición se haya comprendido que lo que quiero transmitir es que, según mi opinión, el discurso actual tiene que reorientar su énfasis. Por supuesto es necesario que las administraciones públicas conozcan las opiniones de sus "clientes" y utilicen esa información como input a la hora de elaborar sus actuaciones, pero la decisión de qué servicios debe prestar la Administración Pública, y con qué características, es una decisión política, en donde la opinión de los "usuarios" es uno de los criterios a tomar en consideración. Si esto no es así, las evaluaciones de los programas y servicios públicos se harían considerando como objetivos los deseos y demandas de los usuarios. Y esto plantea dos problemas: (i) que es difícil encontrar un consenso entre los diferentes grupos de población sobre los servicios que deben tener prioridad y sobre las dimensiones (o características) más importantes de éstos; y (ii) que lleva a afirmar que los programas y servicios públicos deben diseñarse en función de lo que la población (o parte de la población) desea, o lo que se percibe como deseado por la población.

Quizás en este punto tenga que detenerme a reconsiderar una cuestión. Es evidente que me estoy refiriendo a dos niveles diferenciados: una cosa es decidir qué programas y servicios públicos van a existir en cada momento dado, y algo diferente es decidir las características o cualidades de cada programa o servicio una vez hemos decidido ponerlos en marcha. Son dos cuestiones diferenciadas, pero muy interrelacionadas. No es difícil observar que dependiendo de las características de cada uno de los servicios que la Administración Pública preste (por ejemplo si son servicios genéricos, esperados o enriquecidos, utilizando la clasificación explicada al principio de esta presentación) será mayor o menor el número de programas y servicios que se podrán desarrollar de forma simultánea (presuponiendo un presupuesto invariable y un grado de eficiencia igual).

Dependiendo de cuáles sean los objetivos que se definen para el programa o servicio y cuáles sean los criterios que se utilizan para definir el grado de éxito o fracaso del mismo, la valoración y las conclusiones que se obtengan de una evaluación pueden ser diferentes. Por ello, definir como objetivo principal de un programa o servicio público la satisfacción del cliente desvirtúa la capacidad de la Administración Pública de actuar con criterios políticos y técnicos.

Si no tenemos claros los objetivos de un programa o servicio, si no hemos distinguido entre productos/servicios (outputs) y resultados e impactos (outcomes), acabaremos valorando la calidad de un programa o servicio sólo por los procesos (por ejemplo, tiempo medio de la tramitación de determinado expediente) o por los productos/servicios prestados (por ejemplo, número de pacientes atendidos en una semana), perdiendo de vista la importancia de valorar los resultados e impactos. Pero, por favor, que no se me mal interprete, no quiero afirmar que no haya que medir los procesos y los productos/servicios (outputs), sino que una evaluación no puede llegar a conclusiones sobre la calidad de un programa o servicio público sólo con información sobre los outputs (25). Existe cada vez un mayor consenso entre los profesionales que se dedican a la evaluación de programas y servicios públicos, que los criterios a considerar para establecer un juicio de valor sobre una actuación pública deben ser los siguientes: eficacia, eficiencia, impacto, pertinencia y sostenibilidad, sin olvidar, en su caso, otros criterios que podrían denominarse "transversales", como las cuestiones de género y el respeto al medio ambiente.

BAÑÓN i MARTÍNEZ, Rafael y Ernesto CARRILLO BARROSO (1996): "Evaluación de la calidad de los servicios públicos", en Rafael BAÑÓN i MARTÍNEZ (director): La productividad y la calidad en la gestión pública, Xunta de Galicia, Escola Galega de Administración Pública (EGAP), Santiago de Compostela, pág. 171/184.
BATAILLE, Georges (1987): La parte maldita, Icaria, Barcelona.
BAUDRILLARD, Jean (1986): La génesis ideológica de las necesidades, Anagrama, Barcelona.
BELTRÁN VILLALBA, M. (2000): La acción pública en el régimen democrático, Madrid: Centro de Estudios Políticos y Constitucionales.
BOURDIEU, Pierre (1991): La distinción. Criterio y bases sociales del gusto, Taurus, Madrid.
CONSEJO DE COORDINACIÓN UNIVERSITARIA (s/f): La evaluación institucional: concepto y método, Plan de Calidad de las Universidades, Secretaría General (mimeo).
CHOMBART DE LAUWE, Paul Henry y otros (1970): Aspirations et transformations sociales, Anthropos, París.
CONSEJO DE UNIVERSIDADES (1995a): Programa de evaluación institucional de la calidad de las universidades, Secretaría General, Ministerio de Educación y Ciencia, Madrid.
CONSEJO DE UNIVERSIDADES (1995b): Programa de evaluación institucional de la calidad de las universidades. Anexo, Secretaría General, Ministerio de Educación y Ciencia, Madrid.
CONSEJO DE UNIVERSIDADES (1997): Plan Nacional de evaluación de la calidad de las universidades. Guía de los evaluadores externos, Secretaría General, Madrid.
CONSEJO DE UNIVERSIDADES (1998a): "Informe sobre evaluación de la calidad de las universidades", Gestión y análisis de políticas públicas, nº 11/12, pág. 157/181.
CONSEJO DE UNIVERSIDADES (1998b): Plan Nacional de Evaluación de la calidad de las universidades. Guía de evaluación, Secretaría General, Madrid.
CONSEJO DE UNIVERSIDADES (1999): Indicadores en la universidad: información y decisiones, Plan Nacional de Evaluación de la calidad de las universidades, MEC, Madrid.
CONSEJO DE UNIVERSIDADES (2000a): Guía de evaluación de servicios, Plan Nacional de Evaluación de la calidad de las universidades, Ministerio de educación, Cultura y Deporte, Madrid.
CONSEJO DE UNIVERSIDADES (2000b): Plan Nacional de Evaluación de la calidad de las universidades. Informe anual de la segunda convocatoria, Ministerio de Educación, Cultura y Deporte, Secretaría General Técnica, Madrid.
DE MIGUEL, Jesús, Jordi CAÏS y Elizabeth VAQUERA (1999a): Construcción de un sistema de indicadores de calidad universitaria, ponencia presentada en las Primeras Jornadas sobre Evaluación y calidad en las organizaciones públicas, organizada por la Facultad de Ciencias Políticas y Sociología de la Universidad de Granada, Granada, 29/30 de octubre.
DE MIGUEL, Jesús, Jordi CAÏS y Elizabeth VAQUERA (1999b): "Modelo de indicadores de calidad de las universidades", Gestión y análisis de políticas públicas, nº 16, pág. 29/62.
FEINSTEIN, Osvaldo N. (1996): Evaluación y calidad de los programas de desarrollo rural, Congreso internacional de evaluación de la calidad en los servicios públicos y en la empresa, Madrid, 31 de enero - 3 de febrero.
GARCÍA SOLANA, M. J. (2001): "La posición del ciudadano: la noción de cliente", en OLÍAS DE LIMA, Blanca (coord.): La Nueva Gestión Pública, Madrid: Pearson Educación, pág. 291/316.
GRIMA CINTAS, Pedro y Javier TORT-MARTORELL LLABRES (1995): Técnicas para la gestión de la calidad, Díaz de Santos, Madrid.
GUTIERREZ CALDERÓN, M. Isabel (1997): "Estructura organizativa y gestión municipal", en ALBA, Carlos R. y Francisco J. VANACLOCHA, El sistema político local, un nuevo escenario de gobierno, Universidad Carlos III de Madrid / BOE, Madrid.
JAMES, Paul (1997): Gestión de la calidad total, Prentice Hall, Madrid.
KAHN, Joan (1986): Gestión de calidad en los centros sanitarios, S.G. Editores, Barcelona.
LONGO, Daniel R. y Deborah BOHR (1994): Métodos cuantitativos en la gestión de la calidad. Una guía práctica, S.G. Editores/ Fundación Avedis Donabedim, Barcelona.
MAJONE, Giandomenico (1997): Evidencia, argumentación y persuasión en la formulación de políticas, FCE, México.
MAP (1992): Calidad total en los servicios públicos y en la empresa, Colección informes y documentos, Serie administración general, MAP, Fundación formación y tecnología, Madrid.
MAP (1996): Gestión y evaluación de la calidad en los servicios públicos. Segundas Jornadas sobre medición y mejora de los servicios públicos, MAP, Madrid.
MAP (1999): Guía de autoevaluación para la Administración Pública. Modelo Europeo de Gestión de Calidad, BOE, Madrid.
MAP (2000a): Guía de autoevaluación para la administración pública. Modelo Europeo de Gestión de Calidad 2000, MAP, Ministerio de la Presidencia, Boletín Oficial del Estado, Madrid.
MAP (2000b): Libro blanco para la mejora de los servicios públicos. Una nueva administración al servicio del ciudadano, MAP, Madrid.
MASLOW, Abraham T. (1975): Motivación y personalidad, Sagitario, Barcelona.
MINISTERIO DE EDUCACIÓN Y CIENCIA (1995): Real decreto 1947/1995, de 1 de diciembre, por el que se establece el Plan Nacional de Evaluación de la calidad de las universidades, BOE 294/1995, del 9 de diciembre.
PEÑA, Daniel (1998): "La mejora continua de la calidad en la Universidad: algunas experiencias en la Universidad Carlos III de Madrid", Gestión y análisis de políticas públicas, nº 11/12, pág. 83/94.
REBOLLOSO PACHECO, Enrique, Baltasar FERNÁNDEZ RAMÍREZ y Carmen POZO MUÑOZ (2000): Gestión integral de la calidad. Satisfacción de los estudiantes y del personal profesional con los servicios universitarios, Universidad de Almería, Unidad de Calidad e Investigación de la Evaluación, Almería.
REY GARCÍA, Amalio Alejandro (1998): Cómo gestionar la calidad en las universidades. El Modelo Europeo de Excelencia Universitaria, Club Gestión de Calidad, Universidad Carlos III de Madrid, Comunidad de Madrid, Universidad Pontificia de Comillas.
RODRIGUEZ GOMEZ, Gregorio y Antonio Javier GONZALEZ RUEDA (coords.) (2000): Calidad en los servicios universitarios, Unidad para la calidad de las universidades andaluzas, Servicio de Publicaciones Universidad de Cádiz, Cádiz.
ROURE, Juan y Miguel Ángel RODRIGUEZ (1999): Aprendiendo de los mejores. El Modelo EFQM y el proceso de autodiagnóstico en la práctica, Gestión 2000, Barcelona.
RUANO DE LA FUENTE, J. M. (2001): "El control de gestión en las organizaciones públicas", en OLÍAS DE LIMA, Blanca (coord.): La Nueva Gestión Pública, Madrid: Pearson Educación.
RUIZ, Joaquín (1996): "Evaluación de la calidad en la administración general del Estado", Congreso internacional de evaluación de la calidad en los servicios públicos y en la empresa, Madrid, 31 de enero - 3 de febrero.
STUFFLEBEAM, Daniel L. y SHINKFIELD, Anthony J. (1987): Evaluación sistemática. Guía teórica y práctica, Paidós/MEC, Barcelona.
TALAVERA PLEGUEZUELOS, Clemente (1999): Calidad total en la Administración Pública, CEMCI, Granada.
VEBLEN, Thorstein (1974): Teoría de la clase ociosa, Fondo de Cultura Económica, México.
VEDUNG, Evert (1997): Evaluación de políticas públicas y programas, Ministerio de Trabajo y Asuntos Sociales, Instituto Nacional de Servicios Sociales, Madrid.
WEISS, Carol H. (1983): Investigación evaluativa, Trillas, México.
ZEITHAML, Valerie A., A. PARASURAMAN y Leonard L. BERRY (1993): Calidad total en la gestión de servicios. Cómo lograr el equilibrio entre las percepciones y las expectativas de los consumidores, Díaz de Santos, Madrid.

(1) Doctora en Ciencia Política y Sociología y Master en Administración Pública. Actualmente es profesora en la Universidad Carlos III de Madrid, Dpto. de Ciencia Política y Sociología, y consultora especialista en análisis y evaluación de programas y servicios públicos.

(2) Como se observará, en este texto intento no usar la palabra "ciudadano" como equivalente de "usuario" o "cliente" de las administraciones públicas. La situación creada por las corrientes migratorias hacia nuestro país ha puesto en un momento muy delicado lo relativo al discurso sobre a quién tienen que atender las administraciones públicas. Esto se ha reflejado en el reciente debate en torno a la polémica Ley de Extranjería. Por ello, en este contexto, donde se puede contraponer "ciudadano" a "extranjero" o "inmigrante", hablar de "ciudadano" al referirnos a las personas a las que deben atender las administraciones públicas no me parece "políticamente correcto". Sobre los conceptos de "ciudadano" y "cliente" puede consultarse: GARCÍA SOLANA, 2001.

(3) Emilio Díaz de Castro, Catedrático de administración de empresas, Universidad de Sevilla.

(4) O, lo que es lo mismo: ¿las universidades deben destinar más profesores a las asignaturas obligatorias, desdoblando grupos, o es mejor que destinen esos profesores a ofrecer un mayor número de asignaturas optativas?. ¿O hay que aumentar el gasto en personal y hacer las dos cosas?. Las dos son demandas de los estudiantes.

(5) Existen instrumentos muy elaborados para medir la satisfacción de los clientes con un servicio, por ejemplo el SERVQUAL, explicado en ZEITHAML, PARASURAMAN y BERRY (1993).

(6) Y esta no es una idea novedosa dentro de la literatura sobre calidad en los servicios. Así la enuncia también el presidente de la Asociación Española para la Calidad, José Luis Cela (MAP, 1996:17/18).

(7) Este libro recoge las intervenciones en las "Jornadas sobre Gestión y evaluación de la calidad en los servicios públicos", celebradas en el INAP el 31 de enero de 1995.

(8) Existe una interesante literatura sobre las teorías de la noción de "necesidad", sobre todo desde el campo de la sociología y de la psicología. Entre otros: BATAILLE, 1987; BAUDRILLARD, 1986; BOURDIEU, 1991; CHOMBART DE LAUWE y otros, 1970; MASLOW, 1975; y VEBLEN, 1974.

(9) Existen, por supuesto, textos y documentación sobre valoración de la calidad de otros servicios públicos que también podríamos haber utilizado, por ejemplo de los servicios hospitalarios (KAHN, 1986; LONGO y BOHR, 1994). Y otros sobre calidad de los servicios universitarios no citados directamente en esta ponencia: PEÑA, 1998; REBOLLOSO PACHECO, FERNÁNDEZ RAMIRÉZ y POZO MUÑOZ, 2000; REY GARCÍA, 1998; RODRIGUEZ GÓMEZ y GONZALEZ RUEDA (coords.), 2000.

(10) Ver El País del 23 de marzo de 2001.

(11) "El Distrito abierto consiste en ofrecer a todos los estudiantes, de cualquier parte del territorio nacional, la posibilidad de cursar sus estudios superiores en la Universidad Pública que deseen, independientemente de su lugar de origen; siendo, en todo caso, los derechos de los estudiantes procedentes de otras comunidades autónomas los mismos que los de los estudiantes de la Comunidad Autónoma elegida" (http://www.mec.es/consejou/dabierto/quees.html).

(12) en la actualidad (julio de 2003) el Consejo de Coordinación Universitaria (antiguo Consejo de Universidades) tiene en su página web interesantes documentos sobre evaluación y calidad de las universidades, por ejemplo: CONSEJO DE COORDINACIÓN UNIVERSITARIA (s/f), en el que se exponen las razones para la evaluación de las universidades y su metodología.

(13) Es de imaginar, aunque la periodista de El País no lo refleje así, que estos son algunos de los indicadores a utilizar, citados a modo de ejemplo.

(14) El "Protocolo de evaluación" del "Proyecto piloto europeo" se recoge en: CONSEJO DE UNIVERSIDADES, 1995b.

(15) Esta iniciativa del MEC tiene relación con otra iniciativa del Ministerio de Administraciones Públicas. Desde hace varios años, el MAP está intentando impulsar la autoevaluación de las administraciones públicas españolas, aplicando el modelo de "calidad total". Utiliza como herramienta una adaptación del Modelo Europeo de Gestión de Calidad. Este Modelo se explica en el libro Guía de autoevaluación para la Administración Pública. Modelo Europeo de Gestión de Calidad 2000, publicado por el Ministerio de Administraciones Públicas (primera versión: MAP, 1999; segunda versión: MAP, 2000).
El Modelo Europeo de Gestión de Calidad fue diseñado por la Fundación Europea para la Gestión de Calidad (EFQM, en sus siglas en inglés). Esta Fundación fue creada en 1988 por catorce compañías europeas con la intención de impulsar la mejora de la calidad de las empresas europeas. Actualmente son miembros de esta Fundación más de 600 organizaciones, desde multinacionales e importantes compañías nacionales, hasta universidades e institutos de investigación. En 1992 la Fundación lanzó el Modelo Europeo de Gestión de Calidad, conocido como Modelo EFQM de autoevaluación. Este Modelo aborda diferentes aspectos del funcionamiento de una organización: liderazgo, personas, planificación y estrategia, cooperación y recursos, procesos, resultados en las personas, resultados en los clientes, resultados en la sociedad y resultados clave. Una descripción detallada de los objetivos y los elementos del modelo los ofrece un miembro del Comité Ejecutivo de la EFQM (Fundación Europea para la Gestión de la Calidad) en: MAP, 1992:157/164. Existe, además, diversa bibliografía explicativa sobre el modelo EFQM aplicado al ámbito privado, por ejemplo: GRIMA y TORT-MARTORELL, 1995; ROURE Y RODRIGUEZ (1999).
La autoevaluación es un examen global, que realiza la propia organización, sobre sus actividades y resultados, tomando como referencia un modelo determinado, en este caso el Modelo EFQM. La utilización del Modelo de autoevaluación EFQM no finaliza con la obtención de ningún tipo de certificación de calidad (como sucede si se utilizan las normas ISO 9000), pero permite optar al Premio Europeo a la Calidad, que, si se obtiene, supone prestigio y reconocimiento. Este Premio lo otorga todo los años la EFQM, y en 1998 fue obtenido por el ferrocarril español de alta velocidad (AVE) (TALAVERA PLEGUEZUELOS, 1999:359/360 y 375). Una explicación detallada sobre la Organización Internacional para la Estandarización (ISO, en sus siglas en inglés) y de las normas ISO 9000 se encuentra en: TALAVERA PLEGUEZUELOS, 1999:360/374. Una visión general sobre el intento del MAP por mejorar los servicios públicos (incluyendo la evaluación de los mismos para conseguir ese objetivo), que explica la legislación elaborada para ello, se presenta en: MAP, 2000b.

(16) El Plan Nacional de Evaluación de la Calidad de las Universidades se establece por Real Decreto 194/1995, de 1 de diciembre, publicado en el BOE de 9 de diciembre. La convocatoria de la primera anualidad del Plan Nacional se realizó por Orden del Ministro de Educación y Ciencia de 21 de febrero de 1996 (BOE de 28 de febrero), y fue aprobada por Orden de la Ministra de Educación y Cultura de 30 de octubre de 1996 (BOE de 8 de noviembre). El Informe Final de esta convocatoria se aprobó en el Pleno del Consejo de Universidades de 18 de diciembre de 1997, y se encuentra publicado en: CONSEJO DE UNIVERSIDADES, 1998a. Por Orden de 20 de abril de 1998 (BOE de 28 de abril) se realizó la segunda convocatoria, que fue resuelta por Orden de 17 de junio de 1998 (BOE de 24 de junio). El informe publicado en el año 2000 por el Consejo de Universidades es el resultante del análisis de todos los informes de esa convocatoria (CONSEJO DE UNIVERSIDADES, 2000b). Por la Orden de 27 de mayo de 1999 se realizaba la convocatoria para el año 1999 (BOE de 1 de junio), y se resolvía por Orden de 30 de julio, publicada en el BOE de 10 de agosto (complementada por Orden de 14 de diciembre, publicada el 22 de ese mes). Por último, la convocatoria para el año 2000 se realizó por Orden de 19 de mayo de 2000 (BOE de 23 del mismo mes) y se resolvió por Orden de 20 de julio.

(17) Real Decreto 408/2001, de 20 de abril (BOE 96, de 21 de abril).

(18) Existe una guía específica para los evaluadores externos: CONSEJO DE UNIVERSIDADES, 1997.

(19) En el año 2000 se publicó una Guía específica de evaluación de los servicios universitarios, con un desarrollo mayor que el incluido en la versión de 1998: CONSEJO DE UNIVERSIDADES, 2000a.

(20) En la actualidad (julio de 2003) figura en la página web del Consejo de Coordinación Universitaria un "Borrador del catálogo de indicadores del sistema universitario público español", que incluye unos 50 indicadores (http://www.mec.es/consejou/webconsejou/index/html). "El objetivo es definir y proponer unos indicadores para todo el sistema universitario español, capaces de proporcionar información cuantitativa sobre las universidades, que sea útil tanto a los gestores de las propias instituciones como a sus usuarios". Sin embargo, según se expone, estos indicadores "no se deben utilizar para elaborar de manera generalizada rankings de calidad". La intención expresa del Consejo de Universidades es publicar los resultados en la web. En la fecha mencionada, podía accederse a los datos del indicador denominado "RecFin 6.2", es decir, "gasto corriente por alumno matriculado corregido", que "expresa el gasto corriente anual que contrae una determinada universidad pública por alumno matriculado en la oferta oficial de primer y segundo ciclo y sólo segundo ciclo, ponderado según la titulación cursada" (http://www.mec.es/consejou/indicadores/anexo1.html). Existe una clara preocupación del Consejo de Universidades por encontrar indicadores que cumplan los requisitos técnicos y metodológicos esperables en una investigación de este tipo. Esto se puede corroborar con el conocimiento de dos iniciativas: (a) el desarrollo del seminario "Indicadores de calidad en la universidad: información y decisiones" en junio de 1999, con diversas ponencias que abordan este tema (CONSEJO DE UNIVERSIDADES, 1999); y (b) la colocación en su pagina web, durante un tiempo, de una "encuesta sobre los indicadores universitarios". Esta encuesta presentaba los indicadores del "Borrador del catálogo de indicadores del sistema universitario público español", y solicitaba la colaboración del internauta para valorar su idoneidad y la dificultad de su interpretación.

(21) Por su parte, el periódico El Mundo publicó un especial de 24 páginas titulado "50 carreras", en el que se presentaron "las mejores facultades donde estudiar las 50 titulaciones más demandadas y elabora una selección de las universidades españolas que destacan por su nivel de docencia, investigación y proyección de futuro" (El Mundo, 29 de mayo de 2001).

(22) Los resultados parciales de este trabajo pueden verse en: DE MIGUEL, CAÏS y VAQUERA, 1999a y 1999b.

(23) Desde el punto de vista que aquí nos interesa, podemos enumerar las siguientes características que diferencian la Administración Pública de la empresa privada, siguiendo a Angel Martín Acebes, en ese entonces Director General de organizaciones, puestos de trabajo e informática, del MAP: (a) Los usuarios de los servicios públicos no son sólo clientes sino también propietarios de la empresa que los ofrece. Los ciudadanos pueden ejercer al menos cada cuatro años su derecho a decidir qué producir, cómo producirlo y para quién. (b) En el sector privado las empresas tratan de atraer al máximo número de clientes para que compren su producto. Por el contrario, en la Administración Pública normalmente el problema no es el de aumentar el número de clientes sino asegurar que solamente acceden al servicio aquellas personas que legalmente tienen derecho o aquéllas cuyas necesidades se trata de satisfacer mediante ese servicio o programa. (c) En el sector público no existe siempre la posibilidad de elegir: las transacciones no siempre son voluntarias. Un contribuyente, un preso, una persona cuya casa es expropiada para construir una carretera, no tiene ninguna posibilidad de elección. Podría argumentarse que no es válido utilizar el concepto de "cliente" cuando la Administración Pública impone obligaciones que deben cumplirse. (d) En muchos ejemplos de la actividad administrativa la relación que existe entre oferente de servicios y productos y usuario no es la misma que la que establece una empresa con sus clientes. El usuario del servicio público, receptor de una medida administrativa, a veces no es una persona o un solo grupo fácilmente identificable. (e) Otro aspecto que distingue a las organizaciones públicas de la empresa privada es la inexistencia de cuenta de resultados y las limitaciones del marketing público (MAP, 1992:90/92). Otros autores enumeran características diferenciadoras entre lo público y lo privado que podrían ser de interés en el contexto de este trabajo: GUTIERREZ CALDERÓN, 1997:321/326; TALAVERA PLEGUEZUELOS, 1999:332/335.

(24) Así lo pone de manifiesto, por ejemplo, el Consejo de Universidades al definir la situación de la mayoría de las universidades españolas (CONSEJO DE UNIVERSIDADES, 1995a:21).

(25) Una exposición sobre la importancia de valorar tanto los outputs como los outcomes en el control de gestión de las organizaciones públicas se encuentra en: RUANO DE LA FUENTE (2001).