The launching of the Agencia Nacional de Evaluación y Prospectiva (Spanish Agency of Evaluation and Assessment, ANEP), was a definite landmark for the system. Peer review, often described as the least bad quality evaluation mechanism for scientific proposal, and its implementation in Spain represented a turning point in the development of an international homologation process

Es por todos conocido que España no ha sido un país pionero ni en éstas ni en otras muchas lides. Sin embargo, en 1958 se creó la Comisión Asesora para la Investigación Científica y Técnica (CAICYT) que una década después comenzó con la evaluación científico-técnica (López Facal, 1997). Se basaba principalmente en un esquema de conjuntos restringidos de hombres sabios que, a pesar de su buena voluntad manifiesta, pecaban a veces de exceso de cercanía a la hora de elaborar sus informes y tropezaban muchas otras con decisiones políticas prácticamente incompatibles con el respeto debido al proceso evaluador.

La reestructuración de la CAICYT en 1983 consolidó el sistema de «evaluación por pares» (peer review) y, además, los responsables políticos del momento confiaron bastante en ella ya que, en gran medida, en la toma de decisiones tuvieron muy en cuenta los informes técnicos emitidos por el Gabinete de Estudios de la Comisión.

En 1985, la situación había variado algo; a efectos operativos, la ciencia y la tecnología se habían dividido en doce áreas del saber a las que se denominó ponencias; como secretario de cada una había un coordinador que tenía la responsabilidad de seleccionar los pares y debía dar cuenta de las evaluaciones efectuadas por ellos a un conjunto de expertos, el presidente y los vocales de dicha ponencia. Estos pequeños órganos colegiados, sobre la base de los informes de los evaluadores, hacían propuestas que, tamizadas por el Gabinete de Estudios, eran, o no, sancionadas por un Comité Interministerial de Programación.

Esta experiencia sirvió para hacer una apuesta importante cuando en 1986 se estableció un nuevo marco normativo para la definición de la política científica y tecnológica en España. La Ley de Fomento y Coordinación General de la Investigación Científica y Técnica (Ley de la Ciencia), además de regular otros aspectos, fue innovadora al crear la Agencia Nacional de Evaluación y Prospectiva (ANEP).

La ley atribuyó como objetivos a dicha agencia la evaluación, «con el máximo rigor e independencia», de cuantos asuntos científico-técnicos le fueran encomendados por el Gobierno de la Nación, además de la realización de estudios prospectivos en los temas que se le requirieran.

Tuve el honor de ser nombrado el primer director de la ANEP, aunque esto supuso para mí un alejamiento del laboratorio y de la cátedra. Me hice cargo de una unidad administrativa deficiente desde su origen en cuanto a las dotaciones de personal y de infraestructuras. A pesar de que, casi por definición, todos los principios suelen ser penosos, la organización de la ANEP fue todo un reto y toda una satisfacción. Quiero pensar, además, que la carencia de recursos favoreció el diseño y el funcionamiento de una unidad ágil, flexible y participativa que, quizá, con más medios no hubiera conseguido los mismos resultados.

De las diversas facetas del reto, la primera fue la selección del personal científico-técnico. Siempre he creído que lo más importante de una empresa es la componente humana o, como la ha llamado Galíndez (1993), la «estética de una empresa». Y a eso nos dedicamos, a intentar descubrir a los mejores entre científicos jóvenes que, a la vez, fueran destacados en su área, a convencerles de que se sumaran al proyecto, a formar un equipo coherente a veces con galgos y a veces con podencos, con un único ejemplar de cada especie científica, a modo de un hemiarca de Noé, pero siempre integrado en un equipo multidisciplinar con objetivos comunes. En otras palabras, a «crear ilusión» como ha dicho Pascual (2001).

Por otra parte, resultaba claro que cualquier propuesta debía ser examinada en el contexto en el que tuviera mayores posibilidades de ser apreciada en sus justos términos y siempre en comparación con otras propuestas similares. Esto forzó a la elaboración de un sistema, lo más ecuánime que se pudo, de distribución del trabajo entre las distintas ponencias. Esta labor fundamental de clasificación o sexaje obligó a buscar personas que tuvieran el conocimiento y la sensibilidad adecuadas y, a la vez, asumieran la responsabilidad de distribuir el juego.

Creo que se logró escoger razonablemente a las personas adecuadas para los fines deseados en cada caso. Años después, se ha podido comprobar que la mayoría de las personas seleccionadas en esa etapa se han distinguido claramente entre las mejores de su área.

Los actores de la evaluación

Ya hemos dicho que la evaluación científica se basa genéricamente en la revisión por pares. Pero ¿quiénes eran los pares en una comunidad científico-tecnológica tan pequeña como la nuestra? Había un principio intuitivo fundamental: cuanto más alejado se encuentre el evaluador de lo evaluado, mejor. Por tanto, había que dar un paso más en el conocimiento de los evaluadores y averiguar las distintas conexiones entre nuestros científicos, tanto las que pudiéramos llamar positivas como las negativas; había que aumentar nuestro universo con científicos extranjeros o españoles no vinculados directamente a nuestro sistema. En una palabra, había que incrementar y cualificar nuestro banco de evaluadores. Así se hizo. El banco de evaluadores creció desde unos 2700 nombres en 1985 a más de 7000 en 1990, de los que un número muy importante eran extranjeros.

La segunda faceta del reto estaba en la búsqueda, y posterior aplicación, de metodologías de evaluación homologables con las de los sistemas más avanzados (por ejemplo, con la National Science Foundation de Estados Unidos). Nos dimos cuenta que soplaban vientos de fronda. Diversos autores se referían a la falta de estudios convincentes sobre la evaluación, con la crítica añadida sobre los efectos y la validez de la misma, pareciendo indicar que, generalmente, en ella existía más oscuridad que luz y más conflicto que consenso. Cabía dudar de casi todo y era preciso ser muy cauto. Todo ello hizo que, en muchos casos, fuera necesario diseñar procedimientos ad hoc lo que, a mi juicio, se hizo con éxito.

Y ahora que digo éxito, ¿cómo se podía cuantificar el éxito de la ANEP? Pues bien, la ANEP tenía un número fijo de los que se podrían llamar clientes cautivos, esto es, aquellos que, por ley, estaban obligados a remitir todos sus papeles y a esperar para su toma de decisión los informes de la ANEP; entre ellos, la Dirección General de Investigación Científica y Técnica del Ministerio de Educación y Ciencia, la Secretaría General del Plan Nacional de I+D y el Centro para el Desarrollo Tecnológico e Industrial. El éxito consistía en lograr clientes que lo fueran por decisión propia; pronto los hubo de este tipo, como fueron diversas comunidades autónomas, numerosas universidades, el Fondo de Investigaciones Sanitarias de la Seguridad Social (FIS), el Instituto de la Mujer del Ministerio de Asuntos Sociales, diversas entidades y fundaciones españolas privadas, entidades oficiales de países como Argentina, Chile, México o Venezuela, etc. Se había logrado prestigio. La aceptación de los resultados de la evaluación por parte de la comunidad científica fue en aumento y su cultura se fue introduciendo en la sociedad.

La tercera faceta del reto fue la relativa a los tiempos de evaluación. Era muy frecuente que los encargos de evaluación lo fueran con unos calendarios rayanos en lo imposible. Las presiones para obtener los informes en el momento requerido por los gestores fueron, en algunos casos, muy grandes. A pesar de la escasa dotación de personal y de medios de que disponía la ANEP, también se resolvieron estos problemas, esta vez gracias al voluntarismo y al buen hacer de todo su personal que trabajó siempre como un gran equipo.

La cuarta faceta del reto antes referido era lograr el máximo nivel de acuerdo entre los informes de la ANEP y las decisiones de los gestores propiamente dichos. Con los clientes cautivos pronto surgió la idea de que la toma de decisión se basaba en el binomio calidad + oportunidad; el término calidad lo ponía la ANEP y el término oportunidad lo ponía el cliente y dependía del programa del que se tratara. Así, en programas de ciencia básica el término oportunidad debía ser muy pequeño (tan oportunas son las matemáticas como la lingüística, por ejemplo), mientras que en programas aplicados, superado un umbral mínimo de calidad, el término oportunidad podía ser muy grande (por ejemplo, la localización de una gran instalación científica tiene una gran componente de política territorial). Se comprobó que estos clientes, bajo la atenta mirada de la Comisión Permanente de la Interministerial de Ciencia y Tecnología, respetaban las reglas del juego y aplicaban adecuadamente el binomio. En los pocos casos en los que se verificó que alguno de los otros clientes no lo hizo así, se le descalificó como usuario de la ANEP.

La credibilidad del sistema

Creo que la ilusión se logró. La comunidad científica y técnica se sintió partícipe de esa ilusión y comenzó a admitir mayoritariamente la evaluación como una práctica habitual para el logro de parámetros de calidad. Se mejoró la transparencia y la credibilidad en las reglas del juego y se generó, por una parte, conocimiento acerca del propio proceso de evaluación y, por otra, información sobre el conocimiento científico que producía el sistema y sobre los actores responsables de su generación, acumulación, difusión y utilización. Todo ello confirió a la ANEP una reputación sin precedentes en el sistema español de ciencia y tecnología.

Como conclusiones habría que decir, en primer lugar, que la evaluación es una cultura que sólo tiene sentido en el contexto de una estrategia definida y participativa entre los diversos agentes y que se plantee como objetivo la optimización del potencial del sistema español de ciencia y tecnología, factor clave para la tan deseada (y deseable) innovación. No hay ninguna duda acerca de la contribución de la ANEP, desde su establecimiento hasta ahora, a la creación y a la generalización de esta cultura en un país en el que existía una gran carencia en esos ámbitos.

En segundo lugar, es preciso afirmar la importancia de no desechar lo preexistente ni intentar partir de cero para lograr un objetivo. El desprecio a las experiencias previas es, en general, una señal inequívoca de ignorancia y, en el caso de la evaluación, supone desconocer que ella misma constituye un elemento esencial en el proceso de aprendizaje de cualquier sistema, en la medida en la que contribuye a la creación de capacidades. A riesgo de parecer petulante quiero mencionar un concepto muy en boga hoy: el de inteligencia organizativa. La ANEP, en los años mencionados, a pesar de sus diversas carencias, fue buen ejemplo de este concepto. Personas inteligentes trabajando de manera inteligente. Sin un proceso de aprendizaje basado en un análisis exhaustivo de aciertos y errores, difícilmente se puede llegar a diseñar organizaciones inteligentes. Ojalá las nuevas agencias de evaluación recientemente creadas por los actuales responsables políticos puedan gozar de esta misma inteligencia para poder evitar que se sigan acumulando años perdidos como, según Lafuente y Oro (2001), han sido los últimos ocho años en los que no nos hemos acercado más a Europa en términos de inversión en I+D y, además, junto con Europa, nos hemos alejado de Estados Unidos y de Japón.

Roberto Fernández de Caleya es Catedrático de Química y Bioquímica de la Universidad Politécnica de Madrid. En el período comprendido entre 1990 y 1995 fue Director General de Investigación Científica y Técnica del Ministerio de Educación y Ciencia. Con anterioridad ejerció como primer Director y organizador de la Agencia Nacional de Evaluación y Prospectiva.

Bibliografía

Galíndez A.: El factor humano y la estética en la empresa, Publicaciones ETSII de Bilbao, Colección Perfiles Profesionales, Bilbao, 1993.

Lafuente A., Oro L.A.: «El Sistema Español de Ciencia y Tecnología, Diez años después», Papeles y Memorias de la Real Academia de Ciencias Morales y Políticas 2001; 9: 48-61.

López Facal J.: «El sistema español de I+D», Arbor 1997; 617-618: 23-36.

Pascual P.: «Ha desaparecido la ilusión», Boletín de la Sociedad Española de Bioquímica y Biología Molecular 2001; 131:4-5.

Frases destacades

«La Ley de la Ciencia atribuyó como objetivos a la Agencia Nacional de Evaluación y Prospectiva la evaluación, con el máximo rigor e independencia, de cuantos asuntos científico-técnicos le fueran encomendados por el Gobierno.»

«La evaluación es una cultura que sólo tiene sentido en el contexto de una estrategia definida y participativa que se plantee como objetivo la optimización del potencial del sistema español de ciencia y tecnología.»