La evaluación de la investigación en las Humanidades y las Ciencias Sociales, con especial referencia al caso del Derecho

** Catedrática de Derecho Civil de la Universidad de Santiago de Compostela. Vocal de la Comisión Nacional de Evaluación de la Actividad Investigadora (CNEAI). Adjunta a la Coordinadora de Derecho de ANEP. Vocal Suplente de la Comisión juzgadora de las acreditaciones a Catedrático de Universidad de la ANECA.
Dejo constancia de mi gratitud a Trinidad Guzmán González, Profesora Titular de Filología Inglesa de la Facultad de Filología de la Universidad de León, quien leyó una primera versión de este trabajo y lo mejoró notablemente con sus apreciaciones y consejos; décadas de amistad y muchas horas invertidas en conversaciones, unas más banales que otras, explican fácilmente la sinergia.

Parafraseando al político francés, Jaurès, en su obra El espíritu del socialismo. Idealismo y Materialismo en el concepto de la Historia: "No se enseña lo que se quiere; diría incluso que no se enseña lo que se sabe o lo que se cree saber; sólo se enseña y sólo se puede enseñar lo que se es".
Smits, 2011, p. 165.
Smits, 2011, p. 166 ss.
En una declaración pública de la entonces Ministra de Ciencia y Tecnología al diario El Pais en 2009, consideraba que "el Estado tiene que preservar en la universidad pública, sin ninguna duda, todas las áreas del conocimiento, y las Humanidades tienen que jugar un papel muy importante. Pero las Humanidades tienen que implicarse mucho más de lo que están en el campo científico y tecnológico. Y esto implica un cambio de actitud: en este Ministerio encontrarán la puerta abierta para analizar aquellos proyectos que nos presenten".
No puedo sino estar de acuerdo con la afirmación de Álvarez Román en su carta abierta a la ex Ministra Garmendia, cuando en respuesta a la declaración reflejada en la nota precedente en relación con las Humanidades (entre las que el autor incluye el Derecho) afirma "Porque el progreso social, económico y cultural no es sólo fruto de las ciencias experimentales y de la tecnología, sino ante todo de la forma como una sociedad se interpreta y organiza a sí misma, y constituye espacios en los que, entre otras cosas, ciencia y tecnología pueden desarrollarse y aplicarse sin obstáculos. Este progreso es el fruto de una reflexión humanística que en Europa se ha ido desarrollando a lo largo de siglos de estudio e interpretación combativos, y a la cual debemos ideas como las de democracia, derecho, dignidad, solidaridad, e incluso "objetividad" y "ciencia". El texto íntegro de la carta, a la que me referiré en más ocasiones, puede consultarse en http://www.narpan.net/ministra.pdf. Permítase recomendar ferviertemente la lectura del libro de M. Nussbaum, Not for Profit: Why Democracy Needs the Humanities, Princeton University Press, 2010 (hay traducción española reciente), donde de manera muy clara y convincente se pone de manifiesto la necesidad de la presencia de las Artes y las Humanidades para el progreso y para la propia pervivencia de las sociedades democráticas, así como para la formación de auténticos seres humanos, provistos de empatía hacía las necesidades del otro.
Sobre qué se ha considerado históricamente y qué cabe considerar Ciencia y método científico, es muy recomendable el trabajo de Goodstein, 2000, donde por cierto también se incluye (pp. 14 y 15) una comparación entre la Ciencia y el Derecho como dos realidades que difieren tanto por el lenguaje que usan, como por los objetivos que persiguen; sin embargo, también afirma que ambas tienen las mismas aspiraciones y muchos métodos comunes: ambas buscan, a través de un debate estructurado usar evidencias empíricas para llegar a conclusiones racionales que transcienden los prejuicios y el interés individual. Recientemente, sobre la "cientificidad" del Derecho, centrando en especial el enfoque en la Dogmática del Derecho penal, Latorre Latorre, pp. 15 ss.
Gestel/Vrankenl, 2012, p.901; Salvador/Azagra/Gómez Ligüerre, 2008, pp. 15 ss, poniendo en evidencia que la situación es similar en los países de nuestro entorno.
Vid. entre las últimas convocatorias, la Resolución de 30 de diciembre de 2011 (BOE 31 de diciembre)
La Agencia Nacional de Evaluación y Prospectiva (ANEP) es una unidad dependiente del la Dirección General de Investigación y Gestión del Plan Nacional de IDi, dentro de la Secretaría de Estado de Investigación, en la actualidad dependiente del Ministerio de Economía y Competividad. Sus objetivos y funciones pueden ser consultadas en la página web: www.anep.idi.mineco.gob.es. A ANEP le correspondió, según de las Heras/Polo, 2009, la primera acción decidida y con importantes repercusiones prácticas del "Estado evaluador" español.
La Agencia se estructura en 26 áreas científicas, que intentan cubrir todos los ámbitos científicos y tecnológicos, entre ellos el Derecho
de las Heras/Polo, 2009.
En la ya citada carta abierta del Decano Román Álvarez a la ex Ministra Garmendia, se decía "…el trabajo humanístico propiamente dicho no es en general trabajo de equipo, sino individual. Las contribuciones más decisivas en las Humanidades suelen ser libros elaborados por un autor a lo largo de años, no artículos de equipo elaborados en espacios de tiempo breves. Una política científica que privilegie de modo unilateral en nuestro campo los "proyectos de equipo" frente a la hermenéutica individual es equivocada y contraproducente. No obstante, cuando el tipo de trabajo así lo ha requerido, los equipos de investigación han demostrado también su capacidad y rigor metodológico en proyectos de investigación, en grupos de investigación de excelencia o en proyectos europeos".
Así sucede, en la modalidad A de los Proyectos del Plan Nacional de la convocatoria publicada en el BOE de 31 de diciembre de 2011; la aplicación evaluadora expresamente señala "esta modalidad admite proyectos presentados por un solo investigador".
Crítica con lo que ello implica para el ámbito del Derecho, en relación con los Proyectos y resultados de investigación, Mangas Martín, 2011, pp. 67-68. Debe precisarse que algunas de las críticas que la autora centra en las plantillas de evaluación de los proyectos, deben en su caso dirigirse derechamente a la convocatoria. Así sucede, por ejemplo, con "los resultados previos que los equipos de investigación hayan obtenido en el ámbito temático de la propuesta", que la autora estima ser "un arma de doble filo" en el campo del Derecho, y que es uno de los aspectos expresamente mencionados en el art. 24 de la ya citada convocatoria de 30 de diciembre de 2011.
A través del Real Decreto 1086/1989, de 28 de agosto, sobre retribuciones del profesorado universitario, modificado ya en varias ocasiones; puede consultarse la legislación aplicable en (http://www.educacion.gob.es/horizontales/ministerio/organigrama/ministro/relacionadas-administrativamente/cneai.html).
Idea en la que insiste Mangas Martín, 2011, pp. 60 ss, buena conocedora del sistema, puesto que ha sido durante varios años vocal y secretaria de la CNEAI.
El sesgo que implica la exigencia de dirección de tesis doctorales en este y en otros casos, no es tampoco irrelevante, pues la comparación del número absoluto de tesis doctorales que se realizan por ejemplo en Derecho, donde el título de doctor carece prácticamente de valor de mercado fuera de la carrera académica, con el número de tesis doctorales en campos experimentales y técnicos, pone claramente de manifiesto la discriminación que supone el uso de este criterio puramente cuantitativo.
Si bien a continuación se matiza que en el caso de que dicho investigador ocupe una posición en la que no resulte de aplicación el citado criterio de evaluación, deberá acreditar méritos equiparables a los señalados.
Cuya composición estaba dominada hasta 2008 por vocales pertenecientes a las ciencias básicas y experimentales, según señala Mangas Martín, 2011, p. 60.
Los Comités son renovados cada dos años con personas que tienen, al menos, tres tramos de investigación (Orden Ministerio de Educación y Ciencia de 2 de diciembre de 1994, modificada por Orden 16 de noviembre de 2000 y Orden de 20 octubre 2008). La composición de los Comités correspondientes al año 2011 puede verse en BOE 19 diciembre 2011; corrección de errores 5 enero 2012.
Los Comités trabajan de manera autónoma. En el Comité núm. 9, correspondiente a Derecho y Jurisprudencia, cada expediente es examinado separadamente por dos expertos que emiten un juicio previo, sometido posteriormente a la decisión presencial y colegiada de pleno del Comité.
Establecidos en el art. 7 de la Orden de 2 de diciembre de 1994 y en el art. 7 de la Resolución de la Secretaría de Estado de Universidades e Investigación, de 5 de diciembre de 1994.
Los criterios de la convocatoria de 2011 han sido establecidos por Resolución de 23 noviembre 2011 (BOE 30 noviembre)
Conforme al art. 7.4 de la Orden de 2 de diciembre de 1994 "En el análisis de cada aportación presentada en el currículum vitae abreviado se tendrán también en cuenta los «indicios de calidad» que alegue el solicitante, que podrán consistir en:
Relevancia científica del medio de difusión en el que se haya publicado cada aportación. En las disciplinas en las que existan criterios internacionales de calidad de las publicaciones estos serán referencia inexcusable.
Referencias que otros autores realicen, en trabajos publicados, a la obra del solicitante, que sean indicativas de la importancia de la aportación o de su impacto en el área.
Apreciación, expresada sucintamente, del propio interesado sobre la contribución de su obra al progreso del conocimiento, así como del interés y creatividad de la aportación.
Datos sobre la explotación de patentes o modelos de utilidad.
Reseñas en revistas especializada
Los resultados, no excesivamente actualizados pueden consultarse en la página web de la CNEAI:http://www.educacion.gob.es/horizontales/ministerio/organigrama/ministro/relacionadas-administrativamente/cneai.html
BOE 19 diciembre de 2011 (corrección de errores, Resolución 21 de diciembre 2011, BOE 5 enero 2012),
De hecho en el Preámbulo de la Resolución de 23 de noviembre de 2011, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación (BOE de 30 de noviembre) se alude directamente a los cambios que introduce la convocatoria y expresamente se dice " Entre ellos y como aspecto más significativo, se ha trasladado la evaluación del área de Geografía desde el Campo 8, «Ciencias Económicas y Empresariales», al Campo 10, «Historia y Expresión Artística», que resulta más cercano a su actividad".
En junio de 2011 la Conferencia de Decanos de Filosofía aprobó también un documento, pidiendo también la modificación de los criterios de valoración de los sexenios.
Una de las apreciaciones recurrentes es la que destaca la falta de idoneidad del famoso JCR (Journal Citation Index) que, como es de sobra conocido tiene una edición especial para las Ciencias Sociales. En el ranking de revistas de esta sección publicado en el año 2010 no solo no había ninguna revista jurídica española, sino que entre las cien primeras, solo había seis revistas europeas, todas ellas publicadas en inglés. No había ninguna revista jurídica alemana, a pesar de que Alemania sigue siendo un país de referencia en el ámbito de la Ciencia Jurídica y sin embargo aparecen un sinnúmero de revistas de universidades norteamericanas, algunas de ellas perfectamente irrelevantes para el avance del conocimiento jurídico. De las seis revistas europeas mencionadas todas ellas se dedican o al Derecho europeo, entendiendo por tal el dimanante de las instituciones de la Unión Europea, o al Derecho comparado; ninguna acoge trabajos de Derecho nacional.
Insiste, con variedad de argumentos en las ideas expresadas, Mangas Martín, 2011, pp. 61 ss.
BOE 6 octubre.
Las Disposiciones Finales Primera, Segunda, Tercera y Cuarta del RD 1213/2007, establecen procedimientos de acreditación especiales para las situaciones que allí se describen (profesores y profesoras titulares de escuela universitaria, catedráticos de escuela universitaria doctores, profesores del INEF y profesorado de universidades de Estados miembros de la Unión Europea).
Ambos documentos de Principios y Orientaciones pueden consultarse en la web de la institución (http://www.aneca.es/Programas/ACADEMIA/Novedades-en-el-procedimiento-de-acreditacion), donde también se señala que durante un periodo de doce meses desde la puesta en marcha de la aplicación informática que sigue el nuevo modelo, los solicitantes podrán elegir aquel por el que desean ser evaluados.
Aunque no quiero dejar de mencionar la falta de idoneidad de la evaluación docente centralizada basada en el automatismo de los criterios utilizados, como también señala Gómez Pomar, p. 3, para quien la (calidad de) la docencia se percibe mal desde la distancia, por lo que su valoración centralizada es prácticamente imposible; añade este autor que debe haber sin duda alguna incentivos a la excelencia docente, pero su lugar natural es el centro o la institución, no una evaluación nacional o autonómica. Tampoco puedo dejar de mostrarme totalmente en desacuerdo con la valoración de las actividades de gestión prevista por el sistema de acreditaciones, que en no pocos casos ha dejado en la cuneta a profesores universitarios que con una impecable trayectoria docente e investigadora y cuya carrera académica fue vapuleada por una normativa que a modo de "cláusula sorprendente" les exigía haber desempeñado cargos y funciones que nunca hasta entonces habían sido necesarios para la promoción profesional; a la par, la gestión ha dado los puntos necesarios a profesores mediocres, con una dilatada experiencia en actividades de gestión, que además les han reportado suplementos económicos y han servido muchas veces para ocultar sus deficiencias como docentes e investigadores.
Que obliga a los solicitante a estar semanas e incluso meses cubriendo la aplicación y solicitando los documentos acreditativos de los méritos más inexplicables, en muchos casos procedentes de actividades que en su momento se consideraron irrelevantes o que no eran susceptibles de valoración para la promoción académica. A la espera de la publicación de la aplicación adaptada a los nuevos Principios y Orientaciones, es de esperar que sea mucho más amable que la anterior.
En los cuales se puede leer, por ejemplo, respecto de la figura de Catedrático de Universidad, que éste presenta aspectos diferenciales centrados en el liderazgo académico exigible y vinculados a la capacidad demostrada de creación de equipos, líneas, y asignaturas académicas, dirección y coordinación de grupos de investigación y proyectos, capacidad de gestión, dirección de tesis doctorales, etc. Me pregunto en qué Profesores Titulares de Universidad está pensando este documento para considerar que merecen su promoción a Catedráticos; desde luego, no en la mayoría de los PTU de, pongamos Derecho, cuya posibilidad de crear equipos, asignaturas nuevas, dirección de grupos e incluso dirección de tesis doctorales, es más bien escasa, sobre todo si están en Universidades pequeñas o con escasez de profesorado en su ámbito, lo que por cierto, no es ni mucho menos una excepción.
Según el Anexo al RD 1312/2007, los criterios de evaluación de la actividad investigadora se subdividen en.
1.A Calidad y difusión de resultados de la actividad investigadora. Publicaciones científicas, creaciones artísticas profesionales, congresos, conferencias, seminarios, etcétera.1.B Calidad y número de proyectos y contratos de investigación
1.C Calidad de la transferencia de los resultados. Patentes y productos con registro de propiedad intelectual, transferencia de conocimiento al sector productivo, etcétera.
1.D Movilidad del profesorado. Estancias en centros de investigación, etc.
1.E Otros méritos.
Teóricos expertos y totalmente anónimos, puesto que ni la propia comisión conoce su identidad, lo que por una lado genera duda sobre la idoneidad y competencia de esos presuntos expertos, y por otro les permite emitir cualquier tipo de juicio, acertado o no, amparándose en ese mismo anonimato. Al menos en el ámbito de las Ciencias Sociales no es extraño que en un mismo expediente los informes de ambos expertos sean totalmente discrepantes y valoren con de forma radicalmente distinta publicaciones que todo el mundo conoce y que tienen un valor objetivo en el mercado de las ideas; el experto perverso o simplemente ignorante, se halla totalmente amparado por el anonimato.
Precisamente el deseo de impedir que la acreditación se consiga por la simple suma de puntos procedentes de un muchas publicaciones de poca entidad es la teórica razón del cambio de los Principios y Orientaciones. De hecho, en la presentación de la nueva versión 2.0 se dice literalmente que con la modificación "se desea promover el diseño de una carrera académica basada en el rigor, centrada en las actividades claves del profesor universitario y no en la mera acumulación de méritos, muchos de ellos de reducida calidad".
Para la evaluación de la experiencia investigadora.
En el caso de la valoración del apartado 1 «Actividad investigadora», la aportación de un periodo de actividad investigadora reconocido de acuerdo con las previsiones del Real Decreto 1086/1989, de 28 de agosto, de retribuciones del profesorado universitario, tendrá una valoración de 15 puntos.
Mangas Martín, 2011, p. 62; añade la autora que los sexenios no calibran el nivel de profundidad y calidad del dominio de un área del conocimiento y, por ello, nunca debieron ser incluidos como criterio casi decisivo para evaluar las plazas de Catedrático en el sistema de ANECA. Puesto que los sexenios no reflejan necesariamente un alto rendimiento científico ni reconocimiento nacional o internacional de aportaciones, nunca debió ser tenido en cuenta como criterio que por su acumulación da prácticamente el acceso a la Cátedra.
Para Salvador/Azagra/Gómez Ligüerre, 2008, p. 14, el campo del Derecho es uno de los que más adolece de falta de criterios de calidad compartidos;
Sobre algunos de los problemas que plantea el peer review en las ciencias más reconocidas, Goodstein, 2000, p. 9.
Pontille/Torny, 2010, p. 347.
Afirmación que no se limita al ámbito español, como puede verse en Gestel/ Vrankenl, 2012, p. 902. En una de las conclusiones del Seminario sobre los marcos institucionales de la investigación en Derecho civil: formación de investigadores-calidad de las publicaciones, celebrado en Madrid el 21 de octubre de 2011 se afirma "Carecemos de una tradición por lo que a la evaluación de nuestros trabajos por nuestros pares se refiere. Lo que se refleja en la reticencia que suele existir a someterse a todo tipo de juicio ajeno, tanto evaluaciones previas a la publicación, como recensiones críticas de lo publicado" (Resumen del contenido esencial de las intervenciones que tuvieron lugar durante el Seminario, elaborado por el G6DC).
Las razones que hacen actualmente necesaria la evaluación de la investigación en el ámbito jurídico no son tampoco exclusivas de nuestro país; así, Gestel/ Vrankenl, 2012, pp. 905-906, con carácter general para Europa señalan, entre otras, las siguientes: la importancia de probar a las autoridades que su inversión en investigación está produciendo buenos resultados; el incremento del carácter transnacional de las publicaciones que hace necesario uniformizar criterios de publicación; el incremento de la comunidad académica, en el seno de la cual la reputación ya no es un cuestión meramente personal; la asunción de la idea de que los académicos, como otros profesionales, han de ser financiados en función de los resultados; la necesidad de competir con otros investigadores de ámbitos en los que está consolidada la evaluación.
Siguiendo a Gestel/Vrankenl, 2012, pp. 908 ss. Por su parte, Mangas Martín, p. 69 estima que, con carácter general lo importante es la creatividad, el rigor, la metodología y la repercusión del trabajo.
Para Mangas Martín, p. 69, investigar requiere penar en aspectos nuevos, concretar objetos específicos para añadir análisis científico y valoración personal, el tiempo que métodos nuevos para permitir aportar nuevas perspectivas y crear conocimiento. Sobre algunas formas de ser original en el ámbito jurídico, Siems 2008, pp. 174 ss., si bien en mi opinión no son únicamente las descritas en este trabajo.
Gestel/Vrankenl, 2012, p. 908.
Gestel/Vrankenl, 2012, p. 910.
Sobre la distinción entre minuciosidad (thoroughnes) y profundidad (profundity), Gestel/ Vrankenl, 2012, p.90, para quienes la primera hace referencia a la extensión en la que los autores tratan de encontrar explicaciones subyacentes o teorías para desarrollar su idea (hace referencia más al por qué que al cómo), mientras que la profundidad describe la medida en la que la publicación dará una respuesta comprensiva a la cuestión investigada mediante fuentes fiables y relevantes.
En algunos documentos se distinguen claramente los conceptos investigación multidisciplinar e investigación interdisciplinar; en el primer caso se trata de actividades que requieren de métodos o resultados de varias disciplinas, aunque los objetivos se ajustan a una de ellas; la investigación interdisciplinar o "de frontera" sería aquella que traspasa el ámbito considerado propio de una disciplina concreta, utilizando datos, métodos y objetivos de varias de las disciplinas asentadas.
Como dice Mangas Martín, 2011, p. 64, lo que importa es que las revistas, sean nacionales o extranjeras, sean de calidad y, en su caso, de prestigio internacional.
Ese es otro problema de la investigación jurídica: que muchas veces sus resultados se ven a largo plazo.
Pues como dice García Amado en su entrada de 25 de abril de 2012 en el blog de Dura Lex, "Por qué publicar en las revistas científicas", ni dejan de colarse verdaderos bodrios en las revisas de postín y con todo tipo de revisión por pares anónimos, ni está excluido que un estudio excelso pueda aparecer en una simple bitácora o en una página cualquiera de Internet
Aunque el propio continente pueda responder también a criterios de calidad, en este caso formal.
Lo cual provoca que en la mayoría de los procesos los evaluadores sean anónimos, lo que ha su vez genera dudas sobre su competencia, idoneidad y objetividad.
Incluso si se obvian malas prácticas como la coincidencia de evaluadores y evaluados, denunciadas por Mangas Martín, 2011, p. 68.
Un ranking basado en citas de las revistas de química publicado en 1927 por Gross/Gross, es considerado generalmente como el primer ranking de revistas, según reconoce Svantesson, 2009, p. 682.
Sobre la importancia de las monografías en el ámbito de las ciencias humanas y sociales, mostrando cifras que evidencian un mayor número de citas de dichas monografías sobre los artículos de revista, Giménez-Toledo/Román-Román, 2009, p. 201-213. En un artículo publicado en el diario El Pais, el 24.11.2008, decía Adela Cortina, Catedrática de Ética y de Filosofía Política de la Universidad de Valencia, "El historiador o el filósofo que tienen algo importante que decir, amén de escribir artículos, necesitan expresarlo en un libro, o en varios. El progreso en esos saberes requiere la base de una concepción bien explicitada y no un apunte conciso, por eso quien en la edad madura no ha sido capaz de escribir un libro de su cosecha ya ha demostrado suficientemente su esterilidad".
Giménez-Toledo/Román-Román, 2009, passim, ponen de manifiesto que en la evaluación formal de las monografías predomina hasta ahora el criterio del "prestigio de la editorial", si bien estiman que se trata de un concepto que hasta ahora es eminentemente subjetivo y sobre el que es necesario alcanzar un mayor nivel de objetividad.
Gestel/Vrankenl, 2012, p. 916, con cita de la experiencia en varios países de Europa. Refiriéndose expresamente a los rankings internacionales de revistas jurídicas, que surgen en EEUU, pero que ya se han extendido a Europa y Australia, Svantesson, 2009, pp. 678-679.
Sobre la polémica originada por los índices de clasificación de revistas en ciencias humanas y sociales, a partir de la experiencia del Reino Unido, Francia y Australia, Pontille/Torny, 2010, pp. 347-360.
Los conocidos escándalos sobre publicaciones en reputadas revistas científicas "duras" que en realidad son plagios no detectados en tiempo y forma, muestra que tampoco ranking y calidad son necesariamente antecedente y consecuente.
En similar sentido, Svantesson, 2009, p. 681.
Hasta llegar a afirmaciones tajantes como la de Mangas MartÍn, 2011, p. 63, cuando dice que la importación, sin más paliativos, de los criterios de evaluación de esas ciencias sobre las ciencias jurídicas (y las Humanidades en general) ha sido muy negativo.
Me permito contar una experiencia personal que muestra el papanatismo al que puede conducir la importación indiscriminada de criterios pensados para una realidad científica distinta. Hace unos años, cuando analicé el listado de revistas que eran consideradas en mi Universidad de categoría A en el ámbito del Derecho observé, sorprendida, que solo había dos: la Revista Española de Derecho Internacional y el Anuario de Derecho Internacional; cuando recabé información sobre los criterios utilizados para decidir esa clasificación y pregunté por qué las mejores revistas de otras disciplinas jurídicas no merecían igual consideración, se me respondió que únicamente esas dos, como su propio nombre indicaba, eran de ámbito internacional. Horrorizada presenté el correspondiente escrito ante las autoridades encargadas de elaborar y actualizar el ranking, explicando que el nombre obedecía únicamente al hecho de que eran revistas usualmente utilizadas para publicar en las disciplinas de Derecho Internacional Público y Derecho Internacional Privado y que de ello precisamente derivaba su nombre; al mismo tiempo incluí una serie de revista de otras materias jurídicas que, a mi juicio y por razones que trataba de argumentar, merecían también una clasificación prioritaria. La respuesta fue rebajar esas dos revistas a la categoría B; desde entonces, y ya han pasado muchos años, ninguna revista jurídica merece para mi Universidad la máxima categoría.
Mangas Martín, 2011, p 64.
Es más, muchas veces esos trabajos en revistas extranjeras o de ámbito europeo están desprovistos totalmente de originalidad, puesto que se trata sobre todo de divulgar el estado de la cuestión sobre un determinado problema desde la perspectiva de un jurista español, o francés, o inglés o alemán.
Apuntado en Svantesson, 2009, p. 690, que señala también otros aspectos negativos de los rankings de revistas jurídicas, como el desprecio de las revistas de los países pequeños, la americanización de las publicaciones, a modo de nuevo colonialismo y la priorización de ciertas disciplinas sobre otras.
Da varias razones por los que los índices de citas no son necesariamente significativos, con particular referencia a las revistas jurídicas, Svantesson, 2009, p. 683.
El propio Goodstein, 2000, p. 12, refiriéndose al ámbito de la Ciencia más estricto y menos controvertido, pone en evidencia que el artículo de un famoso científico será probablemente merecedor de lectura, mientras que el de un principiante que anuncia un gran descubrimiento, probablemente no lo será; a su juicio el triunfo de la razón sobre la autoridad es uno de los muchos mitos que existen sobre la Ciencia.
En el ámbito jurídico muchas de las revistas privadas pretenden, sobre todo, la divulgación de la investigación jurídica entre los profesionales del Derecho, de modo que cuanto más accesible sean a esos profesionales, mayor éxito editorial tendrán. Nadie sensatamente se atrevería a mantener que ese éxito tiene relación directa con la calidad intrínseca de los contenidos, si por tal entendemos, como en el texto, la publicación original, profunda y minuciosa.
Incluso sin salir del ámbito de las revistas: ¿cómo se puede comparar el impacto de una revista jurídica de índole generalista con una especializada en un campo concreto del Derecho? ¿y el de una revista especializada en una disciplina con muchos cultivadores teóricos y prácticos, como por ejemplo el Derecho laboral, con otra con un grupo muy pequeño de académicos y prácticos, como puede ser el Derecho marítimo?
Un Manual o Tratado destinado a la enseñanza y aprendizaje de una disciplina puede ser al mismo tiempo un trabajo de investigación de calidad en el sentido señalado en el texto, es decir, original, profundo y minucioso; por ello, consideramos totalmente equivocada el trato unitario de los libros destinados a la docencia, y que excluyen a priori su valor como trabajo de investigación, tal y como sucede, por ejemplo, en el sistema de acreditaciones seguido en ANECA. En similar sentido se manifiestan Salvador/Azagra/Gómez Ligüerre, 2008, p. 50, citando expresamente algunos que a su juicio han contribuido decisivamente al avance del conocimiento en el sector del Derecho privado.
No existen, ni en nuestro país ni en otros del entorno, rankings de editoriales, de modo que el prestigio de estas es más una cuestión de mercado que de cumplimiento de requisitos, ni siquiera de orden formal. Salvador/Azagra/Gómez Ligüerre, 2008, pp. 51 ss., informan sobre algunos intentos de clasificación de editoriales y de libros más citados en EEUU.
En los campos donde estos indicadores están más consolidados se producen, sin duda, conductas estratégicas, como la insistencia en los mismos temas de investigación que están en boga y que darán lugar a más citas, evitando los temas innovadores que no tienen tanta demanda, o multiplicando el número de publicaciones dividiendo la investigación en muchos artículos muy similares entre sí o que en realidad constituyen un cuerpo único.
En el mismo sentido, Mangas Martín, 2011, p. 61.
En el marco del ya citado Seminario sobre los marcos institucionales de la investigación en Derecho civil: formación de investigadores-calidad de las publicaciones, celebrado en Madrid el 21 de octubre de 2011, se abogó por la indexación de las revistas, si bien matizando lo siguiente: "Pero una indexación correcta tiene que partir de una evaluación basada en la lectura por especialistas de lo publicado por cada revista. Desgraciadamente en estos momentos predominan criterios puramente formales a la hora de evaluar e indexar las revistas. El ejemplo más llamativo es el de la indexación derivada de los criterios de cita propiciados por los bibliotecarios. Otras posibles opciones como las derivadas de encuestas sobre la calidad de las revistas (sistema americano) son totalmente ajenas a nuestra cultura y a nuestra práctica. De hecho no funcionan en estos momentos".
Radicalmente en contra del anonimato de los evaluadores o informantes en el sistema de acreditaciones se manifiesta también García Amado, blogspot de Dura Lex, de 26 de abril de 2012, "Evaluación y selección del profesorado".




La evaluación de la investigación en las Humanidades y las Ciencias Sociales, con especial referencia al caso del Derecho.













María Paz García Rubio**

1. Las tareas del Profesor universitario: la función docente y la función investigadora.
La labor del Profesor de Universidad es a priori una de las más hermosas a las que se puede dedicar persona alguna. Enseñar a otros lo que uno sabe, o al menos lo que cree que sabe, estudiando y preparándose de manera continuada para saber más y saber transmitirlo mejor, aumentar el conocimiento de los otros a través de la palabra hablada o escrita, y que además te paguen por ello, se dibuja sin duda como una profesión muy atractiva y llena de retos intelectuales, éticos y prácticos.
Aunque las modernas corrientes estatutarias pretendan enredarlos con otras cosas, dos son los cometidos principales de un profesor universitario: enseñar e investigar. La funciones docente e investigadora constituyen el núcleo y la razón de ser de su labor.
Como acabo de indicar, la función docente consiste en enseñar a otros lo que se sabe, o al menos lo que se cree que uno sabe, aunque a la postre finalmente se termine enseñando lo que uno es. Pero para enseñar y enseñar bien, lo primero que se precisa es aprender y hacerlo además de manera no interrumpida, por más años que uno tenga de experiencia docente. Es preciso aprender no solo a enseñar conocimientos, sino también mejorar de forma continua la capacidad de transmitirlos, puesto que el entorno al que el profesor se dirige es constante y aceleradamente cambiante y un buen profesor precisa de una perpetua adaptación a ese inestable entorno. En concreto, los fenómenos sociológicos, políticos y económicos de nuestra época exigen, sin lugar a dudas, cambios en la manera de enseñar cualquier materia, que ya no puede ser entendida y transmitida hoy como lo era hace solo algunos años. Permítame el lector que aluda al ejemplo que mejor conozco y que será recurrente en estas líneas: el Derecho
Hasta la década de los noventa del siglo pasado la educación jurídica en Europa era fundamentalmente nacional; en los últimos años la situación está cambiado, particularmente por la influencia del Derecho europeo y por los programas universitarios de movilidad de estudiantes y profesores. Aunque todavía a día de hoy el Derecho sigue siendo una cuestión fundamentalmente nacional (estatal y un nuestro país autonómica, en gran medida), lo cierto es que una enseñanza del Derecho exclusivamente nacional es en la actualidad enormemente empobrecedora. Ello obliga a cualquier profesor de cualquier disciplina jurídica a ampliar su campo de estudio y enfocar la docencia de esa misma disciplina de manera diferente a como lo venía haciendo hasta ahora, sin que queden excluidas, por supuesto, las disciplinas que por su carácter de Derecho positivo continúan estando muy apegadas a la idea del Estado nacional. En este sentido, concuerdo bastante con aquella opinión que entiende que, en el contexto actual, el Derecho no es tanto un objeto como un método, de tal suerte que los estudiantes que cursan el Grado de Derecho o los muy diferentes Masteres que se han creado en su entorno no deberían aprender el ordenamiento jurídico alemán, francés o español, sino aprender a aplicar un método jurídico a los problemas a los que se enfrentan y las respuestas que uno o varios sistemas han dado a estos mismos problemas; han de aprender además a analizar críticamente esas respuestas y a ser capaces de idear otras más adecuadas y eficaces.
Pero no es mi objetivo en este trabajo analizar la función docente del profesor universitario, ni las muchas implicaciones que en la misma tiene el proceso de globalización, la internacionalización de las disciplinas científicas (entre ellas, como he señalado, el Derecho) o el propio proceso de Bolonia con su teórico cambio de perspectiva sobre las metodologías y los objetivos docentes. Bien que me gustaría, pero es tarea que dejo para otra ocasión, a fin de centrarme en la segunda de las funciones del profesor universitario antes mencionada: la función investigadora referida principalmente a las Humanidades y las Ciencias Sociales. Dedicaré un epígrafe (2) de esta contribución a la descripción tanto de la función investigadora (2.1) como de los procesos de evaluación de esa investigación más relevantes en este momento en España (2.2). En el último epígrafe (3) trataré de reflexionar sobre cómo podría ser el proceso de evaluación más adecuado para la investigación en Ciencias Humanas, Sociales y Jurídicas.
2. La función investigadora, en especial en las Ciencias Humanas, Sociales y Jurídicas.
2.1. Razón de ser de la labor investigadora del profesor universitario
Puestos a teorizar sobe las posibles razones que justifican que una parte importante de la labor de un profesor de Universidad sea la investigación, rápidamente se me ocurren al menos tres: una, ya anticipada, para enseñar más y mejor, pues la creación de conocimiento es antesala de su transmisión; otra. para que progrese la sociedad a través de esa creación y avance del conocimiento (derivado de la ciencia aplicada, pero también y tal vez, sobre todo, de la ciencia básica), y una tercera, para que mejore el sector productivo del país.
A pesar de que he colocado las tres razones por el orden que, según entiendo, deriva de su importancia, lo cierto es que mi juicio este tercero se ha convertido en el fin último (o único) de la política investigadora de gran parte de los países de nuestro entorno y, al menos teóricamente, también de la española. Ello no es en sí mismo negativo, sino más bien todo lo contrario, pues sin duda la riqueza basada en el conocimiento es mucho menos efímera que la basada, por ejemplo, en el ladrillo, como la experiencia de lo ocurrido en España en los últimos años ha puesto claramente de manifiesto. Ahora bien, además de obligarnos a reflexionar sobre por qué en nuestro país el sector privado no invierte en conocimiento o al menos no lo hace con la intensidad que lo hace en otros lugares, la búsqueda de la rentabilidad económica de la política investigadora pública nos obliga a preguntarnos por el destino del conocimiento que no tiene reflejo directo en el sector productivo. A tenor de lo que han afirmado algunos de nuestros responsables políticos más conspicuos la respuesta es que, o sus profesionales se reciclan y se convierten en rentables, o están destinados poco menos que a morir.
En mi opinión tal enfoque deriva de la ignorancia hacia y el descrédito de aquellos ámbitos del saber que, a pesar de su innegable rentabilidad en términos de cultura y desarrollo humano, no son rentables económicamente o, al menos, no lo son en el sentido estricto y a corto plazo. Ni debo, ni probablemente tengo capacidad para discernir si esos ámbitos son estrictamente científicos; tampoco creo que ello sea relevante a los efectos de decidir si contribuyen a la mejora del ser humano y del mundo en el que vivimos y si merece o no la pena destinar recursos a la labor que desarrollan sus cultivadores.
Con todo, esa limitada concepción de la investigación supone de suyo una clara orientación de la política investigadora hacia el sector productivo, por más que no parece, a juzgar por los derroteros que sigue nuestra economía, que el éxito haya acompañado hasta ahora esa orientación, si bien es cierto que los deficientes y decrecientes recursos que se dedican a la labor investigadora tout court probablemente explican también tan escasos resultados. Con esas premisas se impone, entre otras cosas, la necesidad de una "evaluación objetiva" de los resultados de la investigación, a fin de justificar el destino de recursos económicos escasos y en buena medida de naturaleza pública, pues como ya he anticipado, de todos es sabido que el débil tejido empresarial español no se caracteriza precisamente por sus generosas inversiones en ciencia, tecnología e investigación, ni siquiera en aquella que podría ser económicamente más prometedora para sus propios beneficios. Por supuesto, esa evaluación está pensada también en función de aquel sector del conocimiento que implica innovación tecnológica y rentabilidad económica.
El problema nace pues de la falta de adecuación de la evaluación objetiva que se está imponiendo a aquellas ramas del saber que, por su propia naturaleza, escapan a parámetros de objetividad. La falta de adaptación de los criterios de medición y valoración de la labor investigadora consolidados en las Ciencias Naturales y Experimentales a la investigación propia de las Ciencias Humanas y Sociales obliga a quienes pensamos que sí merece la pena dedicarse al estudio de estas últimas a preguntarnos por el método adecuado para hacer, sino la ideal, sí la mejor evaluación posible en estos campos. La respuesta, sin embargo, no es sencilla ni evidente. De hecho, si nos limitamos al mundo del Derecho, podemos decir sin temor a equivocarnos que en el ámbito comparado no existe consenso sobre el modo correcto de evaluar la investigación jurídica; no obstante, es cierto que hasta la fecha, cuando se hace algún tipo de valoración, la evaluación por pares (peer review) goza de preferencia sobre los criterios bibliométricos, como son los índices de impacto de las revistas, los índices de citas, o los de los propios autores, mas utilizados en otros ámbitos científicos, pero que comienzan a ser de uso común y creciente también en al mundo de las publicaciones propias de las Ciencias Humanas y Sociales, incluidas las Jurídicas.
2.2. La experiencia española reciente en materia de evaluación de la investigación.
La descripción de los procesos de evaluación de la investigación en las Ciencias Humanas, Sociales y Jurídicas que se están siguiendo en los últimos años en España puede servir para dar cuenta del escenario en el que nos movemos y sobre el que trato de reflexionar en estas líneas. Dada la multiplicidad de procesos seguidos tanto el marco estatal, como en el autonómico o incluso en el realizado por las propias instituciones de investigación (singularmente, las Universidades), me permito acotar la descripción a tres de los procesos estatales más conocidos y transcendentes: la evaluación de los Proyectos de ámbito nacional en el marco de los programas I D + i; la evaluación de los llamados sexenios de investigación y, finalmente, la realizada por la ANECA en el proceso de acreditación de los profesores universitarios.
Conviene advertir que me limitaré a hacer una descripción de los citados procesos, sin ninguna intención de compararlos. Soy perfectamente consciente de que en los tres casos indicados se trata de medir cosas distintas, aunque en todos ellos la investigación ocupe un lugar de preferencia. Así, en el marco de los Proyectos de Investigación del Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica, el proceso evaluador trata de medir ex ante la calidad de la propuesta y del grupo investigador que la sustenta, pero también su interés, su relevancia social, su vitalidad y los resultados esperados. Por su parte, en los sexenios de investigación se trata de medir únicamente la calidad de las publicaciones sometidas a evaluación (evaluación ex post, por tanto). Finalmente, en los procesos de acreditación se evalúa ex post no solo la labor investigadora realizada por el candidato, sino también su labor como docente y su implicación en las labores de gestión; pero aún limitándonos a lo que atañe a la investigación, el sistema diseñado en el proceso de acreditación trata de mensurar no solo las publicaciones, sino también otras actividades de investigación, como la participación y dirección de proyectos o las estancias (¿?) en centros de investigación de prestigio. Por lo tanto, el objeto sometido a medida no coincide en ninguno de los tres casos descritos.
Por otra parte los tres procesos evaluadores que voy a tratar de describir obedecen a peticiones de los investigadores que se hacen también con tres finalidades diversas: en el caso de los Proyectos, se piden para financiar la investigación; los sexenios nacieron originalmente como una especie de complemento de productividad, cuyo fin era incrementar el sueldo de los académicos, si bien a día de hoy cumplen también otro tipo de fines no menos importantes que aquel para el que fueron ideados; finalmente, en el caso de las acreditaciones, su evaluación positiva sirve, como se ha anticipado, para ascender en la carrera profesional.
Todas esas divergencias no impiden que en los tres casos se realice un proceso evaluador que, en mayor o menor medida, ha de recaer sobre la actividad investigadora, lo que justifica que me detenga con un cierto pormenor en el bosquejo de los tres procedimientos.
2.2.a. Evaluación de Proyectos de Investigación.
Los Proyectos de Investigación del Plan Nacional se solicitan con el fin de conseguir financiación para la realización de actividades científicas y tecnológicas. Parten de la existencia de un grupo o equipo de investigación, que según la propia normativa reguladora, ha de ser del tamaño suficiente para constituir una masa crítica apropiada al buen fin del Proyecto. Se presentan a convocatorias competitivas que solo financiarán la investigación de calidad, la cual se evidenciará por el nivel de internacionalización, su carácter multidisciplinar y por la contribución de los hipotéticos resultados a la resolución de problemas sociales, económicos y tecnológicos. La valoración de la calidad del Proyecto que determinará la concesión o no de la financiación se realiza a través de una evaluación técnica que se basa en el sistema de peer review. En concreto, en el caso de los Proyectos pertenecientes al ámbito del Derecho se realiza una doble valoración: una por parte del propio Ministerio, valiéndose de dos expertos internos designados por el coordinador del Programa y otra por parte de ANEP, que a su vez cuenta con un equipo de coordinación por cada Área encargado de designar a dos evaluadores, expertos en el tema, por Proyecto y que emite su propia evaluación; dicha evaluación no tiene por que ser la media de las puntuaciones de los expertos (sobre todo si son discrepantes, en cuyo caso se debe recurrir a un tercer evaluador), sino la que el equipo de coordinación considere adecuada teniendo en cuenta todos los aspectos valorativos. Los nombres de los expertos que evalúan cada Proyecto no se hacen públicos, lo que ha merecido para algunos el reproche de que no existe garantía sobre la idoneidad curricular o disciplinar de los supuestos pares, si bien en mi experiencia he podido constatar que los coordinadores y adjuntos a estos tratan de asegurar en lo posible esa idoneidad. El resultado conjunto de esas evaluaciones (del Ministerio y de ANEP) se somete a revisión en una Comisión Mixta constituida al efecto, y de la que deriva el resultado numérico final, priorizando las propuestas según su puntación.
Se trata de un sistema que garantiza un alto nivel de objetividad. Si embargo, aplicado al ámbito de las Humanidades y Ciencias Sociales, presenta algunos problemas que son comunes a los sistemas de evaluación por pares. Para empezar, es un sistema muy complejo y costoso, tanto en términos económicos, como de tiempo, pues una evaluación adecuada de cada Proyecto exige un alto nivel de dedicación que los llamados expertos no siempre están en condiciones de aportar; esto produce una disparidad en la propia calidad de las evaluaciones técnicas, algunas de ellas muy elaboradas, mientras que otras son mucho mas mecánicas. Además, la imposibilidad de contar un número suficiente de expertos en todas las disciplinas, hace que aquellas que pueden considerarse más residuales o minoritarias se encuentren con frecuencia infrarrepresentadas en el panel de expertos, cuando no ausentes de toda representación, lo que sin duda las sitúa en una posición de desventaja. Finalmente la propia configuración de los Proyectos como "trabajos en equipo", deja muy poco margen a la investigación individual, más propia de las Ciencias Humanas, Sociales y Jurídicas, que puede ser también de alta calidad y que en este tipo de convocatorias resulta prácticamente despreciada, si bien he de puntualizar en honor a la verdad que en las últimas convocatorias se da explícita visibilidad a la investigación individual.
Todo ello es directa consecuencia de una determinada concepción de la ciencia y la investigación que no atiende por igual a todos los campos del saber y que, como en otros ámbitos, está claramente inspirada en la idea de investigación propia de las Ciencias Naturales y Experimentales. Por esa misma razón también resulta mucho más difícil realizar un control adecuado de los resultados de los Proyectos en los ámbitos humanísticos y socio-jurídicos que en los que pertenecen al campo de las Ciencias Sociales y Experimentales, paradigma del método científico "fetén" y cuyos criterios sobre lo que resulta relevante o innovador están mucho más consolidados que en aquellos otros sectores, como más delante pondré de relieve.
2.2.b. Los sexenios de investigación.
Los llamados "sexenios de investigación" nacen en 1989 como un complemento salarial que no pretende acreditar la excelencia investigadora, sino el cumplimiento de unos mínimos en materia de investigación por parte de los profesores universitarios y del personal de las escalas científicas del CSIC, con el objeto de que les sea reconocido un complemento salarial de productividad. Sin embargo, hay que señalar que en los últimos años los citados sexenios sirven además a otros fines u objetivos indirectos para los que, en principio, no fueron diseñados y que en buena medida han distorsionado su imagen. En concreto, al hecho de que muchas Universidades exijan un número mínimo de sexenios para el cumplimento de determinados cometidos, como formar parte de los tribunales o comisiones de acceso a plazas de Profesor Titular de Universidad o de Catedrático, ha de sumarse la constatación de que el recurso a los sexenios tiene ya un alcance más general. Así sucede, por ejemplo, en materia de estudios de doctorado, como se evidencia en el art. 8.4, del Real Decreto 99/2011, de 28 de enero, por el que se regulan las enseñanzas oficiales de doctorado, precepto que exige que el coordinador de cada programa de doctorado recaiga "sobre un investigador relevante y estar avalada por la dirección previa de al menos dos tesis doctorales y la justificación de la posesión de al menos dos tramos de investigación reconocidos". Pero es sobre todo en los procesos de acreditación de los profesores universitarios, residenciado fundamentalmente en ANECA, donde se ha cambiado el rostro de los sexenios de investigación, al convertirlos en una exigencia para la composición de las Comisiones de acreditación y, sobre todo, al convertirlos en determinantes en el propio proceso de valoración de la investigación del solicitante que desea alcanzar la acreditación como Catedrático. También sobre ello me detendré en líneas venideras. No obstante, quiero dejar también constancia de la última vuelta de tuerca que se ha dado al valor de los sexenios de investigación y que prácticamente ha sido coetánea a la redacción de estas líneas. El Real Decreto-ley 14/2012, de 20 de abril, de medidas urgentes de racionalización del gasto público en el ámbito educativo ha incluido en su art. 4 da una nueva redacción al art. 68 de la LOU, estableciendo que la actividad docente a desarrollar por el personal docente e investigador de las Universidades será sometida a graduación, de suerte que quienes acrediten la superación de los sexenios en determinada cuantía y condiciones, verán reducida sus obligaciones docentes, mientras que quienes no lo hagan las verán aumentadas en la misma proporción. Aunque todavía es pronto para calibrar sensatamente la transcendencia de esta nueva normativa, cabe señalar que según la propia Exposición de Motivos del RDLey, esta graduación se hace "en atención a la intensidad y excelencia de su actividad investigadora", lo que una vez más pone de manifiesto que el inicial significado de la figura del "sexenio de investigación" está siendo modificado sin suficiente justificación o al menos sin que quienes deciden se detengan a pensar mínimamente en las consecuencias de estas decisiones.

Volviendo sobre la evaluación específica de los sexenios de investigación, cabe decir que dicha evaluación es realizada anualmente por la Comisión Evaluadora de la Actividad Investigadora (CNEAI), que se vale para ello de 11 Comités Asesores (más el Comité 0 sobre Transferencia de Conocimiento e Innovación, creado en 2010) compuestos, cada uno de ellos por un grupo de expertos que examinan la calidad de los trabajos científicos sometidos a evaluación correspondientes a un periodo que no puede ser inferior a seis años y emiten su juicio técnico: de ahí la denominación de sexenios de investigación. Aunque existe un conjunto de criterios de calidad de carácter general, estos han sido completados con otros específicos para cada campo de evaluación que se han tratado de adaptar paulatinamente a la peculiaridades de cada uno de ellos a través de la Resolución anual.
Si bien la mención a la existencia de Comités de expertos pudiera dar otra impresión, lo cierto es que en principio los indicios de calidad que la Orden originaria tomaba en consideración estaban más basados en la evaluación por criterios formales (bibliométricos) que en la valoración de los contenidos por parte de los propios expertos. Esto supone una asunción apriorística de la validez universal de ese tipo de evaluación para todos los campos del conocimiento, asunción que como más adelante tendremos ocasión de comprobar, dista mucho de estar generalmente aceptada. No es de extrañar que los resultados reflejen un mayor nivel de éxito en aquellos campos donde la medición formal de la calidad goza de mayor consenso, mientras que en aquellos otros en los que dicha medición resulta más contestada el éxito es mucho menor.
Tampoco debe extrañar, por lo dicho, que los mayores problemas planteados por los sexenios se hayan dado precisamente en sectores pertenecientes a las Humanidades y a las Ciencias Sociales. Son muy significativos, por razones distintas, casos como el de Geografía o Económicas, aunque no me resisto tampoco a hacer mención expresa al campo nº 9, correspondiente a Derecho y Jurisprudencia.
En el caso de la Geografía, se observa una cierta incertidumbre sobre cuál de los campos temáticos se adapta mejor a su configuración científica, lo que seguramente refleja las dudas sobre qué composición del respectivo Comité evaluador está en mejores condiciones para valorar la investigación en esta materia. Así en la Resolución de 7 de diciembre de 2011, por la que se nombra a los miembros de los Comités Asesores de la CNEI, quienes ejercen sus funciones en el momento de redactar estas líneas, la Geografía se ha trasladado al Comité Asesor núm. 10 (Historia y Expresión Artística), como demuestra la inclusión de una profesora de Geografía Física y otro de Análisis Geográfico Regional, siendo así que en las convocatorias anteriores, la sede natural de los geógrafos parecía ser el Comité núm. 8. Aunque es cierto que no se impone a los solicitantes la obligación de ser evaluados por un determinado Comité, pudiendo los interesados decidir en primer término cual les parece más adecuado a su perfil, es palmario que esos cambios en la "sede natural" muestran que estamos ante un sector del conocimiento suficientemente complejo y heterogéneo como para que genere dudas sobre su ubicación, lo que indubitadamente ha de tener influencia en los resultados.
El caso de la Economía es bien conocido. Se trata de uno de los campos (el nº 8) que históricamente tiene un índice de éxito más bajo en la consecución de sexenios de investigación, lo cual se explica, al decir de algunos, por el sesgo de los sucesivos comités asesores que, en su mayoría pertenecen al sector de esta disciplina dedicado más a la Economía Teórica, formados en escuelas norteamericanas y seguidores de los métodos más propios de las ciencias formales. La insatisfacción producida por los resultados, sobre todo entre los especialistas en Economía Aplicada, ha derivado en acciones como el llamado Manifiesto de los Sexenios, quejas ante el Defensor del Pueblo de las que la institución se hizo eco en 2004 y 2005 y acuerdos varios de la Conferencia de Decanos de Economía y Empresa. Una de las quejas más recurrentes era la minusvaloración de los trabajos publicados en lengua española (u otras lenguas del Estado español) en revistas de calidad contrastada en materia de Economía Aplicada. En 2009 se aprobó una Moción del Senado en la que se decía que se "establecerán baremos objetivos para la evaluación que garanticen la transparencia y la equidad en su aplicación y que deberán ser conocidos, no sólo antes de la presentación de las solicitudes de evaluación, sino con la suficiente antelación para que los investigadores puedan adaptar su perfil investigador a dichos criterios. En particular se tendrá en cuenta la publicación en las lenguas españolas u otras que resulten adecuadas"; en febrero de 2010 y en mayo de 2011 se formularon sendas preguntas al Ministro sobre el cumplimiento de la Moción, si bien la situación del Campo nº 8 no parece haber cambiado sustancialmente. Todas estas circunstancias han producido otro efecto perverso que bien puede denominarse "turismo de sexenios": algunos especialistas en Economía Aplicada prefieren solicitar el reconocimiento de su tramo investigador en otros Campos distintos del nº 8 en los cuales, si el respectivo Comité asesor se considera competente, pueden ser valorados con criterios distintos (y al decir de algunos, más benevolentes) de aquellos que se aplicarían en el que les es más propio.
En fin sin ánimo de agotar los ejemplos, en el caso del Derecho las críticas más abundantes se han dirigido a la aparente prioridad de los criterios bibliométricos formales sobre el contenido material de las aportaciones y más en concreto a utilización de los rankings de revistas, así como a la minusvaloración de las monografías, lo que ha dado lugar a una reorientación de las publicaciones jurídicas. En efecto, un ligero vistazo a la producción investigadora en el ámbito jurídico de nuestro país pone en evidencia que en los últimos años, además de haberse incrementado exponencialmente el número de publicaciones, no siempre de la deseable calidad, éstas se han producido sobre todo a través de artículos de revista, con abandono importante de las grandes monografías, cuya elaboración es mucho más costosa en términos de tiempo y esfuerzo, siendo sobremanera, mucho peor valorada por el sistema. Advierto desde ahora que no se trata de una peculiaridad exclusiva de la investigación jurídica sino que, más bien al contrario, muchas de estas apreciaciones son extensibles a la mayor parte de las ramas del saber ubicadas en las Ciencias Humanas, Sociales y Jurídicas. Volveré más adelante sobre esta misma cuestión.
Las acreditaciones.
El Real Decreto 1312/2007, de 5 de octubre, por el que se establece la acreditación nacional para el acceso a los cuerpos docentes universitarios, en desarrollo de lo previsto en la modificación de la LOU operada por LO 4/2007, de 12 de abril, opera la sustitución del régimen de habilitación nacional, hasta entonces vigente en materia de acceso y promoción del profesorado universitario funcionario, por un sistema de acreditación nacional cuya evaluación positiva supone entrar a formar parte del panel de elegibles por las universidades para ocupar las plazas ofertadas por estas; supone, pues, un paso previo para los concursos de acceso que dichas Universidades convoquen.
Según el régimen general previsto para la acreditación de los profesores funcionarios, la valoración de los méritos de los candidatos se hace a través de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), donde se han constituido las comisiones de acreditación (una por cada una de las cinco grandes Áreas para Profesores Titulares de Universidad y otras cinco para Catedráticos de Universidad), cuya composición y funcionamiento tratan de asegurar, en teoría, un nivel de competencia superior, o al menos igual, al de los candidatos. Según establece el Preámbulo del RD regulador del nuevo procedimiento, el sistema se inspira en la tradición académica de la evaluación por pares, condición que corresponde a un grupo de expertos de las diferentes grandes áreas que harán una evaluación previa a la de la comisión del curriculum del candidato. Lo usual es que se emitan dos evaluaciones de expertos, las cuales, sin embargo, no son vinculantes para la toma de decisión final de las diferentes comisiones, absolutamente soberanas para decidir sobre la acreditación o no de la persona sometida a evaluación.
Tanto los expertos como las correspondientes comisiones han de pronunciarse, según lo establecido en el RD, sobre la actividad investigadora, la docente o profesional y la experiencia de gestión y administración educativa, tecnológica y otros méritos del solicitante, a su vez desglosadas en una serie de criterios que se concretan en el Anexo a la norma reglamentaria. En esa valoración, la actividad investigadora del candidato tiene un peso preponderante, que es mayor en el caso de los aspirantes a Catedráticos de Universidad (un máximo de 55 puntos por la investigación, frente a 35 puntos por la actividad docente y 10 por la gestión), respecto a lo previsto para los Profesores Titulares de Universidad (50 puntos por la actividad investigadora, 40 por la docente, 5 por la formación académica y 5 por la experiencia en gestión).
En desarrollo de esta normativa la ANECA elaboró en 2008 unos Principios y Orientaciones para la aplicación de los criterios de evaluación, que según rezan ellos mismos, describen las grandes líneas del modelo de evaluación que será aplicado por las comisiones de acreditación y por los expertos evaluadores. Recientemente la ANECA ha publicado una nueva versión de estos Principios y Orientaciones la cual pretende simplificar el procedimiento y, según su Presentación, trata de sustituir la mera acumulación de méritos por la valoración exclusiva de aquellos que tengan mayor relevancia, limitando el número de aportaciones sometidas a evaluación.
Centrando la atención en la valoración de la actividad investigadora que es la que ocupa estas reflexiones, y obviando el no irrelevante asunto de la escasa amabilidad de la aplicación informática que ha de ser utilizada para solicitar la acreditación, cabe destacar desde ya que, una vez mas, los criterios que se utilizan están mucho más adaptados a las Ciencias Naturales y Experimentales que a las Sociales, Jurídicas y Humanas, sesgo este que, por cierto, mucho me temo que los nuevos Principios y Orientaciones no hacen sino acentuar.
La valoración de la investigación en el proceso de acreditación se puede hacer de dos formas que, en la interpretación que se ha consolidado en la práctica, constituyen dos procedimientos alternativos: la evaluación autónoma por parte de la comisión de acreditación o la evaluación automática procedente de los sexenios reconocidos por el solicitante. Si las puntuaciones derivadas de una y otra conducen a resultados diferentes, habrá de tomarse la que sea más beneficiosa para el evaluado.
En la evaluación autónoma realizada por la correspondiente comisión, la investigación sometida a valoración no es únicamente la concretada en publicaciones científicas, aunque sí sea este el aspecto con más peso relativo. Tal y como se desarrolla el proceso, los miembros de la comisión no están vinculados a los criterios expuestos en los informes de los expertos anónimos, por lo que en realidad, por mucho que se diga lo contrario, no se trata de un procedimiento de peer review. Sobremanera, el procedimiento no da apenas margen para que la valoración de la comisión se detenga en el contenido de la investigación, con lo que se evalúa la cantidad y no la calidad, primando así a investigadores mediocres que han producido mucho, frente a investigadores excelentes con menor producción, aunque esta sea de nivel muy relevante.

Por añadidura, como ya se ha anticipado, el último párrafo del RD 1312/2007 ha sido interpretado como una manera alternativa de medir la investigación, de modo que un profesor universitario con cuatro sexenios de investigación reconocidos sobrepasa la puntuación máxima en investigación y ya no precisa de la valoración autónoma de ésta. Este traspaso automático de los sexenios al sistema de acreditación ha sido también objeto de crítica porque supone la utilización de un instrumento (los sexenios) para un fin distinto (la selección y promoción del profesorado) al inicial que motivó su creación (la mera suficiencia investigadora), provocando con ello su perversión.

Con estos mimbres no debe extrañar que los resultados de las acreditaciones no estén siendo todo lo satisfactorios que cabría esperar, al menos en las Ciencias Sociales y Jurídicas, donde no pocos investigadores de primer nivel ven calificadas de forma negativa sus solicitudes, mientras que otros muchos más mediocres pero que han sabido diseñar o presentar un curriculum más adaptado a las nuevas circunstancias, son promocionados por el sistema.
3. Sobre cómo es y cómo habría de ser la evaluación de la investigación en el ámbito de las Ciencias Humanas y Sociales, con particular referencia al Derecho.
De manera opuesta a lo que parece asentado en el mundo de las Ciencias Naturales y las Experimentales, en el ámbito de las Humanidades y las llamadas Ciencias Sociales y Jurídicas es perfectamente correcto afirmar que a día de hoy no existe un criterio seguro sobre el modelo ideal de evaluación de los resultados de la investigación.
Como ya he dicho, aunque no se trate de sistemas totalmente opuestos, sino más bien complementarios, en una primera aproximación se puede decir que frente a los criterios bibliométricos basados en índices formales (de impacto, de citas, etc.), en el ámbito humanístico y social está relativamente más reconocido el recurso al sistema de evaluación por pares (peer review), que también se utiliza profusamente en el campo de las Ciencias formales y naturales. Este sistema consiste en que un grupo de expertos de un particular sector del conocimiento examinan las publicaciones o los proyectos sometidos a evaluación con el objeto de juzgar su calidad. Se trata de un procedimiento que, al menos en teoría, asegura una revisión ex ante de los trabajos sometidos a revisión, con el fin de que solo sean admitidos para su publicación (o en el caso de los proyectos, sean financiados) los mejores o, cuando menos, los que cumplan unos mínimos estándares de calidad. Con todo, en algunos sectores como en el que representa el mundo del Derecho bien puede decirse que la propia noción de evaluación de la calidad es relativamente reciente y no ha sido todavía asumida en la integridad de sus implicaciones por la propia comunidad científica. De hecho todavía hoy son muchas las revistas jurídicas que carecen de un sistema de selección de los trabajos predefinido, que sea público y explícito; otro tanto puede decirse, con mayor generalidad aún, de las editoriales en las que se publican las monografías, manuales y libros colectivos, muchas de las cuales se guían exclusivamente por criterios de mercado y no son precisamente sensibles a la calidad científica del contenido de aquello que publican.
Las apreciaciones hechas en la precedente parte de este trabajo en relación con algunos de los procesos evaluadores seguidos en España sirven para poner de manifiesto que la situación está cambiando y que, por vías directas o indirectas, se está midiendo la calidad de la investigación en todos los ámbitos del saber con variados criterios, no todos los cuales resultan, ni mucho menos, adecuados a algunos de dichos ámbitos. Si tomamos como modelo el caso español y concretamente el tan traído caso del Derecho, por ser el que mejor conoce la autora de esta contribución, a la hora de decidir cual es la mejor manera de evaluar la investigación jurídica parecen enfrentarse dos posibles modelos: por un lado, el de evaluación intrínseca de la calidad a través de la evaluación previa por pares, modelo presente, por ejemplo, en el caso de los Proyectos de Investigación del Plan Nacional; por otro, la evaluación formal o bibliométrica que impera en el sistema de acreditaciones de la ANECA; en un punto intermedio estaría la evaluación de los sexenios, donde mi propia experiencia me permite afirmar que, cuando menos en el Campo nº 9, la evaluación combina ambos procedimientos: peer review y criterios formales.
Para tomar partido sobre cual habría de ser el sistema de evaluación ideal en nuestras disciplinas es preciso analizar, aunque sea brevemente, en qué consiste cada uno de ellos; haré mención en primer lugar a la evaluación intrínseca de la calidad, para a continuación referirme a la evaluación formal o bibliométrica.
3.1. La valoración de la calidad intrínseca.
No es fácil definir en pocas palabras qué es la calidad intrínseca de un trabajo de investigación en el ámbito de las Humanidades o de las llamadas Ciencias Sociales y Jurídicas, si bien barajando criterios bastante asentados podríamos decir que para que una publicación sea considerada investigación de calidad debe ser original, profunda y minuciosa.
La originalidad se opone a la mera descripción y divulgación de lo ya publicado por otros o, en el caso del Derecho, lo ya dicho en las normas jurídicas, en las resoluciones judiciales o en la propia literatura jurídica. Con carácter general la originalidad supone que el autor ha dicho algo nuevo que representa un avance en el conocimiento del tema tratado y por tanto su aportación ha tenido una utilidad intrínseca para ese avance. En el ámbito del conocimiento propio de las Humanidades y las Ciencias Sociales más conocidas ello no significa que se trate de un asunto completamente nuevo o que se hayan alcanzado resultados estrictamente novedosos, puesto que la originalidad también puede estar en la manera de abordar un problema o de tratar el material existente. La reestructuración y reinterpretación de ese mismo material puede ser en sí misma original. Sobremanera la originalidad no es dilemática, no se puede medir en términos de blanco o negro, sino que hay distintos tonos de grises o niveles de originalidad.
La profundidad se asocia con la competencia y el rigor metodológico, mientras que la minuciosidad hace referencia al conocimiento de las fuentes y de las publicaciones relevantes previas que sirven de base para la propia. La profundidad busca la aportación al estado de la ciencia y en ese sentido se relaciona con la originalidad. Ninguna de las dos cosas debe ser confundida con la obsesión por los detalles, con el agotamiento de las citas de todo lo que se ha escrito en la materia, o con la extensión del trabajo. Los detalles superfluos oscurecen el trabajo; las citas de trabajos irrelevantes no aportan nada y distraen al lector y finalmente, hay trabajos de muchas páginas que no dicen absolutamente nada nuevo y otros mucho más cortos que aportan ideas novedosas y pueden suponer un avance para el conocimiento.
Aparte de los tres mencionados, hay otros criterios que se suelen utilizar en varios ámbitos del saber humanístico y social como criterios de calidad intrínseca. Me refiero al carácter internacional de la publicación, a su naturaleza interdisciplinar o a la relevancia social del tema. Es posible que el abordaje de un problema desde una perspectiva interdisciplinar dé lugar a nuevos enfoques que a su vez proporcionen nuevas respuestas, con lo que puede favorecer la originalidad; ahora bien, ello no significa que una investigación interdisciplinar sea necesariamente una investigación de calidad o de más calidad que otra que no tenga aquella perspectiva. Por su parte, la dimensión internacional de una publicación asegura su mayor difusión (sobre todo si se publica en inglés), pero tampoco es garantía de una mayor calidad intrínseca; es más, muchas veces los trabajos de mayor difusión lo son precisamente por su carácter divulgativo y no precisamente innovador. Desde luego, si se utiliza ese criterio como un índice de calidad intrínseca, bajo ningún concepto se puede valorar la internacionalidad como una cuestión puramente geográfica: una publicación no debería ser considerada internacional por estar en otro idioma o por haberse publicado en una revista o en una editorial extranjera, sino por haberse convertido en un referente de ámbito internacional, aunque se trate de una publicación hecha en el propio país y sobre una cuestión referente, por ejemplo, al ordenamiento jurídico de ese país. Finalmente, la relevancia social del tema tampoco asegura su calidad; es deseable que la investigación sirva a la sociedad y que ayude a resolver los problemas a los que esta se enfrenta; pero ello no tiene relación alguna con la calidad del trabajo investigador. Un artículo publicado en este momento sobre la llamada dación en pago en caso de que el crédito con el que se adquirió la vivienda hubiese sido garantizado con una hipoteca y el deudor no esté en condiciones de devolverlo, trata sin duda de un tema de enorme relevancia social; el artículo en cuestión puede ser bueno o malo, puede dar soluciones pertinentes a problemas pertinentemente planteados o puede ser un cúmulo de despropósitos sin valor alguno. Por el contrario, un artículo publicado a día de hoy sobre, pongamos, la causa en el contrato, puede parecer a primera vista absolutamente falto de interés y relevancia social y resultar sin embargo un artículo de calidad intrínseca que supondrá un importante avance en el conocimiento; siendo así es más que probable que en el futuro sirva para encontrar las respuestas a problemas que ni siquiera ahora se han planteado .
Desde luego de lo que, bajo ningún concepto, depende la calidad intrínseca de un trabajo de investigación en Derecho es del tipo de trabajo (artículo, contribución a libro colectivo, monografía, comentario de sentencia u otros), del medio utilizado (revista en papel, libro, revista electrónica, o incluso contribución escrita libre en la Red) o del idioma empleado. La calidad está en su contenido, no el continente que lo aloja.
La evaluación de la calidad intrínseca de un trabajo de investigación necesita, obviamente, de evaluadores que decidan sobre dicha calidad. Esto no deja de plantear problemas que en algún caso son peliagudos, como los derivados de la dificultad de encontrar evaluadores suficientemente preparados y dispuestos a dedicar su tiempo a una actividad que no suele estar bien remunerada y que además puede causar inconvenientes con los colegas de la comunidad científica. Todo ello contribuye a que no siempre se seleccione a los mejores "pares" o a los mejor preparados para hacer una determinada evaluación, con lo que esta resultará viciada desde el inicio. No podemos olvidar, en fin, que aunque quepa esperar que los evaluadores sean honrados y hagan su trabajo con rigor y sin prejuicios, lo cierto es que en la práctica las preferencias personales, los conflictos de intereses y las propias limitaciones de cada uno son, más que difíciles, imposibles de evitar.
3.2. La evaluación bibliométrica o formal
La importación de los métodos de evaluación de las Ciencias Naturales y Experimentales al campo de las Humanidades y las Ciencias Sociales y Jurídicas está imponiendo de manera progresiva la evaluación formal, basada en índices bibliométricos. Los dos índices más utilizados son el ranking de la publicación o de la editorial y los índices de citas de los artículos. En los campos científicos que publican prioritariamente en revistas hace décadas que este tipo de evaluación es la preferente. En cambio, en las Humanidades y las Ciencias Sociales y Jurídicas, donde los libros tienen una importancia muy relevante, este tipo de valoración se ha utilizado mucho menos; sin embargo, mi percepción es que al menos en España y probablemente en toda Europa, la situación está cambiando rápidamente.
El grave problema es que en España, al igual que en el resto de Europa, los índices de clasificación de las revistas de Ciencias Humanas y Sociales no son todavía suficientemente fiables, en el sentido de que una concreta revista ocupe una alta posición en un determinado ranking no significa necesariamente una alta calidad de una determinada publicación contenida en dicha revista. Por el contrario, es perfectamente posible que un artículo de calidad haya sido publicado en una revista que aparece en un puesto muy bajo en los índices al uso. El caso del Derecho vuelve a ser paradigmático.
Los indicadores de las revistas tienen la ventaja de que son aparentemente objetivos. Sin embargo si se profundiza en ellos rápidamente asaltan las dudas sobre su impacto en los campos del saber que nos ocupan en este trabajo. Para empezar no hay unanimidad en la elección de los criterios que definen lo que es una revista de calidad en los ámbitos humanístico y social, aunque sí hay cierto consenso sobre la necesidad de que cumplan determinados estándares académicos (v.gr. que seleccionen los artículos que han de ser objeto de publicación, rechazando aquellos que no la merezcan) y otros relativos a la publicación (ISSN, periodicidad, información completa sobre las referencias citadas, resúmenes del trabajo, etc.). Uno de los criterios que se suelen barajar es el carácter internacional de la revista, concepto importado también de otros ámbitos del conocimiento y que necesariamente nos enfrenta a la pregunta, ya formulada más arriba, sobre qué es exactamente una revista internacional, por ejemplo, en el campo del Derecho. Identificar sin más revista internacional con revista extranjera es tan absurdo que bastaría con señalar, como hace Mangas Martín, que las revistas extranjeras son revistas nacionales en su propio país. Ello es especialmente grave en aquellos sectores del conocimiento que trabajan con objetos locales o nacionales, como en gran medida le ocurre todavía a día de hoy al Derecho positivo, que, como expuse más arriba, a pesar del proceso de europeización y globalización que está experimentando, sigue fuertemente ligado a la idea de Estado. Esta realidad trae como consecuencia que, mientras en disciplinas como la Filosofía del Derecho, la Teoría del Derecho, la Historia del Derecho o el Derecho Romano el objeto de estudio sea compartido más o menos universalmente y, por ello, sea relativamente fácil publicar en revistas que exceden los límites espaciales de un país, no sucede lo mismo en otros casos. Un trabajo sobre la Ley Penal del Menor o sobre la prestación compensatoria en caso de separación o divorcio en el Código civil tiene como objeto central la normativa española, sus resultados se dirigen al sistema español y sus principales destinatarios son quienes han de trabajar diariamente con esa normativa, sean juristas académicos o profesionales; por ello lo lógico es que esos trabajos se publiquen en revistas españolas y en español, y no que se trate de buscar una revista americana en inglés, que probablemente no esté en absoluto interesada en el ordenamiento español y que prácticamente ningún juez o abogado español está en condiciones de leer. Es cierto, y sobre ello ya he insistido, que en los últimos años los ordenamientos jurídicos han abierto también sus fronteras y se han internacionalizado de modo notable, particularmente en el caso de los propios de países pertenecientes a la Unión Europea. Los movimientos de aproximación y unificación del Derecho en Europa han aumentado la presencia de nuestros juristas en foros internacionales y la publicación en otros idiomas, fundamentalmente en inglés y en revistas pensadas precisamente para ese tipo de trabajos transnacionales. Más aún, los grandes avances tecnológicos y las nuevas posibilidades de movilidad han incrementado exponencialmente los contactos de nuestros investigadores en el extranjero y las posibilidades de publicación más allá de nuestras fronteras. Eso sin duda es positivo para nuestros académicos y para el desarrollo de cualquier ámbito del saber; pero eso no quiere decir, ni que siempre que se publique en una de esas revistas sobre materias internacionalizadas la publicación sea de calidad, ni que los trabajos de Derecho interno estén desprovistos necesariamente de ella. Ambas afirmaciones son erróneas y pueden conducir a medio plazo al más pernicioso de los resultados: la desviación de las objetos de investigación hacia aquellos temas que puedan tener una mayor proyección global o comparada, con abandono de otros más domésticos; ello es tanto como decir que pueden derivar en el condicionamiento de la investigación que se hace o que merece la pena hacer y, en definitiva, en la restricción de la propia libertad de pensamiento.
Pero vayamos a otros criterios que aparentemente se barajan como aptos para definir el valor de una determinada revista. Por ejemplo, el criterio bibliométrico por excelencia: los índices de citas. Me pregunto, en referencia a las materias humanísticas y sociales cuyos resultados no son necesariamente universales ni en buena medida objetivables (ni tienen por qué serlo) ¿cómo se puede asegurar que un artículo es citado por su calidad intrínseca y no por el nombre de su autor y su influencia o por simpatía personal por parte de quien lo cita? Desde la perspectiva contraria ¿cómo se puede asegurar que no se dejan de citar publicaciones relevantes por ignorancia o de modo consciente y no por otro tipo de razones? A mayor abundamiento ¿cual es el tiempo ideal para juzgar oportunamente el índice de citas de un determinado artículo? A modo de ejemplo, el Social Science Citation Index (ISI) baraja normalmente un periodo de uno o dos años, lo que sin duda es un tiempo demasiado corto para calificar la relevancia de los trabajos en muchas disciplinas, entre ellas buena parte de las jurídicas cuyos mejores trabajos tardan a veces varios años en ser "descubiertos" y convenientemente valorados.
Existen muchas otras objeciones que se pueden hacer a los criterios puramente formales aplicados al Arte, las Humanidades, el Derecho, o a otras materias que cada lector tendrá en su cabeza. Cabe preguntarse, por ejemplo, cómo puede compararse el impacto de un trabajo de un profesor consolidado con el de uno que está comenzando su carrera profesional pues es evidente que en estas materias la auctoritas (cuando no la potestas) de aquel incrementa exponencialmente sus posibilidades de ser citado por otros. Por otro lado, el hecho de que en estos sectores coexistan revistas públicas o subvencionadas con dinero público con otras pertenecientes a grupos empresariales cuyo fin primordial es la rentabilidad económica no permite tampoco una comparación homogénea entre ellas.
Permítaseme, en fin, hacer mención a un asunto muy concreto cual es el de decidir cómo se mide el impacto de un libro en relación con el de un artículo de revista. He puesto ya de relieve que experiencia española, tanto en los sexenios como en las acreditaciones, demuestra una realidad incontestable: la infravaloración de las monografías y de los manuales y tratados con contenido innovador con relación a los artículos de revista; una buena monografía sometida a evaluación, resultado del trabajo de un autor durante un par de años y publicada en una editorial de teórico prestigio, apenas llega a recibir la misma puntuación que un artículo de treinta páginas en una revista que goce de cierto reconocimiento. La consecuencia es que poco a poco decrece el número de monografías, sobre todo, de monografías sólidas, profundas y verdaderamente originales, a la vez que crece exponencialmente el número de artículos insulsos, carentes de cualquier valor científico intrínseco y de cualquier utilidad para el desarrollo de la ciencia y la cultura.
Por todo lo dicho, no me cabe duda alguna de que a día de hoy no se puede asumir que la calidad formal de la revista o de la editorial signifique sin más la calidad de lo publicado en ella. Tal simplificación, cuya validez para las Ciencias Naturales y Experimentales no voy a juzgar, aunque seguro que habría mucho que decir al respecto, es en otros ámbitos del saber totalmente equivocada.
Es evidente que no todo es negativo en la que hemos llamado evaluación formal. Los criterios bibliométricos tienen la ventaja de la simplicidad y la objetividad, a la par que generan buenas prácticas editoriales tanto en las revistas como en las empresas y los servicios de publicaciones de las Universidades, lo que sin duda supone un efecto muy positivo. Por ello es deseable que se generalicen esas buenas prácticas y se produzca una adecuada indexación de las revistas. La cuestión es si esto es suficiente para consagrarlo como el sistema evaluador idóneo en el ámbito del saber humanístico y social.
c) A la búsqueda del mejor método posible de evaluación de la investigación en las Humanidades y Ciencias Sociales y Jurídicas.
Retomando nuestra cuestión de partida que trataba de buscar el método más idóneo para medir la investigación humanística y social, de lo dicho se deriva la irrenunciabilidad del análisis de la calidad intrínseca de la publicación, sea esta un libro, una parte del él o un artículo de revista. Esa evaluación debería ser realizada con carácter previo a la publicación, a través de evaluadores de competencia acreditada y que trabajen con el máximo rigor y honradez posibles. En estas evaluaciones ex ante soy partidaria del anonimato de los evaluadores como garantía de su imparcialidad, pues la experiencia me ha mostrado lo difícil que resulta para algunos cuestionar la calidad de los "amigos" y lo fácil que es ver defectos en los "no tan amigos"; sin embargo en las evaluaciones ex post, como las de las acreditaciones o los sexenios, creo que la publicidad del nombre de los expertos es la mejor garantía de que su trabajo ha sido hecho con transparencia y objetividad, pues están valorando una investigación que es de público conocimiento y que la comunidad científica también está en condiciones enjuiciar.
Los criterios métricos basados en índices que clasifican editoriales y revistas no deben ser despreciados, son herramientas de evaluación de utilidad, pero en este momento preciso han de jugar un papel secundario en el campo de las Ciencias Humanas y Sociales; no obstante, es cierto que en la medida en que esas editoriales y revistas asuman como exigencia la previa participación de los peers review en la selección de sus publicaciones y rechacen aquellos trabajos que no tengan calidad suficiente, su fiabilidad y con ello la de los propios índices, irá en aumento; con todo, entiendo que nunca podrán ser criterios de calidad exclusivos.
Se me dirá que al fin y al cabo eso es lo que se viene haciendo desde antiguo en los campos científicos que están actuando de modelos de referencia; probablemente sea verdad; es bien cierto, no se trata de inventar lo que ya está inventado, sino de adaptarlo a una realidad diferente y tomarse el tiempo y el esfuerzo necesarios para evitar graves perjuicios, como los que a mi juicio está produciendo ahora el traspaso indiscriminado de criterios meramente formales a ámbitos que no se adaptan bien a ellos. Debe quedar claro que la calidad solo se garantiza leyendo el contenido y con evaluadores solventes, y aun así debemos de ser conscientes de que, en un número elevado de ocasiones, un trabajo humanístico o científico-social no puede, por su propia naturaleza, generar el mismo consenso sobre su calidad que uno procedente de las Ciencias formales o naturales.
Para finalizar permítaseme reproducir un párrafo de la varias veces citada carta abierta dirigida por el Decano de la Facultad de Filología de la Facultad de Salamanca en 2009 a la entonces Ministra de Ciencia y Tecnología "Las ciencias humanas son mucho más baratas de mantener que las otras, pero su gestión es más difícil, compleja y sutil, porque para hacerlo bien aquí no se pueden obviar los juicios individuales fundados, ni suplirlos con cifras tomadas de tablas de parámetros y puntuaciones basadas casi siempre en opciones coyunturales. La selección de un profesor o de un proyecto de investigación, una beca, la financiación de un congreso, no se pueden decidir en nuestro campo productivamente si no es mediante valoraciones individuales de los contenidos, suficientemente motivadas, argumentadas y contrastadas. Decidirlos como se hace ahora, sumando "puntos" distribuidos conforme a criterios tomados de otros campos, por falta de comprensión de nuestros verdaderos objetos, métodos y rendimientos, es despilfarrar el dinero y contribuir a la irracionalidad y al descontrol de la gestión de los medios, cosa que siempre se traduce en atajos de mediocridad. De hecho, fabricarse hoy día un currículo humanístico apto para sacar dinero de la política científica es lo más fácil. Lo difícil es obtener ese dinero haciendo las cosas bien".




BIBLIOGRAFÍA UTILIZADA EN EL TEXTO.

Cortina, A., "La calidad de las humanidades", diario El País, 24 noviembre 2008.
García Amado, J.A. entrada de 25 de abril de 2012, blog de Dura Lex, "Por qué publicar en las revistas científicas", en http://garciamado.blogspot.co.uk/2012/04/por-que-publicar-en-las-revistas.html.
García Amado, J.A:, entrada de 26 de abril de 2012, blog de Dura Lex, "Evaluación y selección del profesorado", en http://garciamado.blogspot.co.uk/2012/04/evaluacion-y-seleccion-del-profesorado.html.
Gestel R van/ Vrankenl J, "Assessing Legal Research: Sense and Nonsense of Peer Review veruss Bibliometrics and the Need for an European Aproach", German Law Journal, vol. 12, nº 3, pp. 901-929.
Gimenez Toledo, E./Román Román, A. "Assessment of humanities and social sciences monograhs through their publishers: a review and a study towards a model of evaluation", Research Evaluation, 18 (3), 2009, pp. 201-213.
Gómez Pomar, F. ¿Qué esperamos de los profesores universitarios y cómo los evaluamos?, Indret, editorial.***
Goodstein, D. "How Science Works, in Reference Manual on Scientific Evidence (2000)
Heras, G. De las /Polo G., "La evaluación de la investigación universitaria en ciencias jurídicas en el marco general español", Rev. Educ. Sup, v.38, n.150 México abr./jun. 2009.
Latorre Latorre, V, Bases metodológicas de la investigación jurídica, Tirant lo Blanch, Valencia, 2012.
Mangas Martín A, "La evaluación de la investigación jurídica en España", El Cronista del Estado Social y Democrático de Derecho, monográfico sobre La Universidad en crisis, núm. 23, octubre, 2011, pp. 60-71.
M. Nussbaum, Not for Profit: Why Democracy Needs the Humanities, Princeton University Press, 2010
Pontille, D./ Torny, D, "The controversial policies of Journal ratings: evaluating social sciences and humanities", Research Evalutation 19 (5), 2010, pp. 347-360.
Salvador Coderch, P/Azagra, A/Gómez Ligüerre, C, "Criterios de evaluación de la actividad investigadora en derecho civil, derecho privado y análisis del derecho", Indret, 2008, (http://www.indret.com/pdf/571_es.pdf).
Seminario sobre los marcos institucionales de la investigación en Derecho civil: formación de investigadores-calidad de las publicaciones, celebrado en Madrid el 21 de octubre de 2011. Resumen*** web.
Smits, J.M. "European Legal Education or how to prepare students for global citizenship?, The Law Teacher, The International Journal of Legal Education, vol. 45, 2, july 2011, pp. 163-180.
Siems, M, "Legal Originality", 28 of Oxford Journal of Legal Studies, 174 (2008)
Svantesson D., "International ranking of law journals- can it be done and at what cost?, Legal Studies, vol. 29, nº 4, December, 2009, pp. 678-691.