Este es un espacio de debate que no compromete la opinión de La Silla Vacía ni de sus aliados.
Una vez señalada la inconveniencia de la perspectiva asumida por el Ministerio de Ciencias en la actual convocatoria de medición de grupos e investigadores y los crasos errores en la definición de los tipos de libros allí consignada, concluimos esta serie de columnas denunciando el que creemos es el riesgo más grande de asumir una política de evaluación de la ciencia como la que allí se encarna. Se perpetúa el estímulo para buscar argucias que sean efectivas, juzgadas por las buenas calificaciones del modelo, pero no científicas ni éticas.
La propuesta parece establecer que un libro puede alcanzar, al cabo del tiempo, la mayor categoría de la Convocatoria, libro A1, sin que para ello sea necesario que se trate de un buen libro por su contenido. Además, es posible evidenciar algunos riesgos generales para el ecosistema del libro y la ciencia.
Entre dichos riesgos se encuentra, por ejemplo, que en ningún lugar de la Convocatoria se indica que el libro A1 deba ser revisado por un experto. Los criterios para llegar a esta categoría son tan elevados, que se esperaría que muy pocos libros tuvieran tal distinción, lo que operativamente haría posible una revisión detallada. Este, sin embargo, no parece ser el caso, ya que la calificación depende del cumplimiento de requisitos puramente externos al contenido del libro, los cuales, como se sabe ya por experiencias con algunas revistas científicas y editoriales depredadoras, son manipulables.
La condición de haberse ganado un premio es, tal vez, el criterio más llamativo para que un libro pueda ser reconocido con el mayor peso en el modelo. Si bien en otros países los premios gozan de gran aceptación, en nuestro país estos premios no tienen tradición, con contadas excepciones. En consecuencia, queda establecida y abierta la posibilidad de crear un premio hecho a la medida de la convocatoria, solo para cumplir ese requisito. Para contradecir esto podría afirmarse que la misma categoría indica que el premio debe ser entregado por una “entidad reconocida”, pero tendría que hacerse una convocatoria con requisitos claros para reconocer esas entidades. El premio debe tener una trayectoria del al menos cinco años, pero no faltará la institución con espíritu creativo que rebusque en sus canales algo que pueda hacer pasar como un premio a un libro o que establezca alguno, espurio, con la intención de capitalizar su iniciativa en un lustro.
Otra extraña condición es que el libro sea editado por un fondo editorial, con la aclaración de que no sea imprenta, externo a la institución a la que pertenece el autor. Esto podría suscitar malas prácticas, aquí algunos ejemplos: por un lado, una suerte de carrusel entre editores universitarios, con una puerta giratoria que lleve a “nosotros publicamos a sus investigadores y ustedes publican a los nuestros”. Por el otro, el surgimiento de negocios de editoriales con ánimo emprendedor, o de oficinas de servicios de grandes grupos editoriales, o de editoriales de garaje, depredadoras, cuyos servicios ahora no los pagarían los autores, sino las universidades.
Cabe anotar que, mientras redactábamos este texto, el 2 de junio de 2021 el Ministerio publicó la Adenda 1 a la Convocatoria, donde se quita la condición de publicación por fuera de la editorial de la universidad del autor para que el libro obtenga el mayor puntaje. Mantenemos los comentarios, no obstante, con la intención de hacer evidente la original falta de conocimiento del mundo editorial académico colombiano por parte del Ministerio, y el riesgo que este desconocimiento implica para la ciencia y el ecosistema del libro en el país.
Otra consecuencia gravísima es que la convocatoria desconoce, de forma irrespetuosa, la trayectoria de todas las editoriales universitarias colombianas, que han tenido hasta ahora como objetivo primordial publicar a sus investigadores. Este criterio es mucho más preocupante si se tiene en cuenta que gracias a las editoriales universitarias puede explicarse en gran medida la profesionalización de todo el gremio editorial colombiano. La industria editorial colombiana se destaca por el aporte de las editoriales universitarias.
Y no solo en términos de formación, sino también de cantidad objetiva de producción editorial, que en los últimos cinco años es cercana al 25 por ciento de la producción total de títulos en el país. Así, esta convocatoria desestimula la infraestructura editorial de las instituciones que han producido, en la mayoría de los casos sin ánimo de lucro, un cuarto de la diversidad bibliográfica del país. Estas apreciaciones pueden resultar un poco dramáticas, pero hay que poner de presente que las autoridades universitarias, ante este escenario, podrían desmontar sus editoriales para buscar a terceros y pagarles para que publiquen los libros de sus investigadores.
Esta condición parece ser traída de la academia de los Estados Unidos, donde la norma de prestigio, desde hace algunos años, indica que los investigadores de una universidad deben publicar en la editorial de otra universidad. Es oportuno señalar que esta práctica no constituye un común denominador para todas las editoriales universitarias estadounidenses, pero sí es muy frecuente. El afán de imitación no tiene en cuenta, entre otros aspectos, la capacidad de un mercado editorial como el estadounidense, que permite la existencia de editoriales universitarias como empresas estrictamente comerciales.
También puede leerse ahí la intención, apenas lógica, de impedir malas prácticas de editoriales y universidades que, en virtud de mejorar la calificación de la producción de sus investigadores, han sido laxas o fraudulentas con su certificación. Si este fuera el caso, la Convocatoria debería insistir en que las malas prácticas deben individualizarse y castigarse ejemplarmente, y no poner en duda la integridad de todos los editores por la indolencia y las irresponsabilidades de unos cuantos.
Este punto, además, deja sin piso a las coediciones, una práctica que cada vez gana más fuerza y en la cual el mayor beneficiado es el lector, a quien se le puede garantizar un menor costo, así como la posibilidad de ampliar el diálogo internacional. El investigador, en términos de efectividad, tendería a registrar el libro como publicado por la otra universidad, omitiendo que también fue publicado por su universidad. La convocatoria no lo indica y queda la duda de si esta práctica será aceptada o si sancionará a los autores que inscriban la coedición como un libro publicado solamente por una universidad distinta a la suya.
Otro criterio que merece reflexión es el que señala que para que un libro sea reconocido como A1 este debe ubicarse en el cuartil superior de su gran área de conocimiento de acuerdo con las citas calculadas desde Google Scholar, Scopus y Web of Science. En primer lugar, se debe advertir que la conjunción “y” indica que para que el libro cumpla esa exigencia debe estar en el cuartil superior de las tres bases de datos. Esto, en lugar de ampliar la diversidad de las fuentes que se utilizan para el cálculo, como ha sido una exigencia reiterada de la comunidad académica, cierra más drásticamente la posibilidad de mejores resultados.
Esto indica que la convocatoria no sólo necesita una revisión conceptual, de su concepción profunda, sino la más elemental “corrección de estilo”. Sin embargo, confiando en que este sea apenas un error de redacción y que la “y” deba ser interpretada como una “o”, el punto fundamental es la bien conocida inconveniencia y la invalidez objetiva de las citas y, por lo tanto, el lugar en los cuartiles de una publicación como garantía de calidad.
Para demostrarlo, valga solo un ejemplo: un texto puede ser citado muchas veces para denunciar su falta de calidad. El criterio es mucho menos fiable si se conocen las estrategias que se pueden hacer para incrementar artificialmente la citación de cualquier texto, como las redes de citas. Así, se extenderá a los libros una problemática ya bastante conocida y denigrada en las revistas académicas. Desconociendo, por si fuera poco, estudios internacionales que demuestran que las citas no son un elemento esencial en la valoración que tienen los lectores de las editoriales académicas.
Es claro que ni el premio, ni la editorial externa al autor, ni su posición en el cuartil superior son signos indiscutibles de la calidad del contenido de un libro, en la medida en que pueden ser producto de acuerdos hechos con la única intención de posicionar el libro en una categoría superior del modelo de medición propuesto por el Ministerio.
Debemos decir, entonces, que no estamos afirmando que un hecho así vaya necesariamente a ocurrir. Estamos indicando, más bien, que la sola posibilidad de que ocurra, por mínima que sea, es una muestra innegable e insuperable de la debilidad y de la inconveniencia del modelo. Esto por no decir nuevamente que las discusiones de punta a nivel internacional sobre la evaluación de libros no han sido consideradas por el modelo.
En síntesis, se puede afirmar que los criterios establecidos por la convocatoria van en contravía del objetivo que debe tener toda evaluación de la ciencia: hacer mejores, más eficientes y más transparentes los procesos de investigación y visibilidad de sus comunidades académicas.
La propuesta que apunta a evaluar la producción sin leerla, sin atender al texto y al contenido, sino a sus formas y al cumplimiento de trámites que nada tienen que ver con la calidad específica de lo que dice el libro, es, sin lugar a duda, insuficiente. La evaluación de la producción académica, en particular la publicada en el formato libro, requiere modelos en los que sea posible poner de manifiesto otros aspectos, como una revisión exhaustiva o estadísticamente representativa de lo que certifican las universidades y lo que arrojan las bases de datos. En el modelo propuesto solo se está privilegiando el chequeo de una lista que no garantiza la calidad de una publicación. Una evaluación requiere asuntos tan complejos como conocer los impactos más allá de la sola cuantificación de las citas.
La invitación es a construir modelos que evalúen los contenidos como tales, no como lo que parecen, por las formas y los trámites que se llevan a cabo para que se publiquen. Es necesario pensar en un sistema que lea y evalúe las obras y, claro, su impacto. Lo que se quiere es fomentar la calidad, para lo cual expertos, comités científicos y deliberantes deben leer y evaluar las obras al menos desde un ejercicio que permita juzgar razonablemente y con base en estadísticas a las universidades y editoriales que las publican.
En otros países se han consolidado sellos de calidad para editoriales y colecciones. También se han realizado investigaciones cuantitativas y cualitativas que indagan en los investigadores y en los lectores sobre el prestigio que adjudican a las editoriales académicas, entre otras iniciativas que pueden aportar o consolidar un modelo que sí atienda a las necesidades y condiciones del país, y no a la facilidad de evaluar apariencias.
Tal como fueron presentados todos estos criterios en la Convocatoria, que tienen la intención de elevar la calidad de la ciencia en nuestro país, que definitivamente es necesario, llevan a que los grupos desciendan de categoría este año. Es difícil establecer si esto realmente contribuye al avance de la ciencia. Al contrario, el modelo podría no incrementar la calidad concretamente analizada, ni la capacidad de las instituciones, ni la de los investigadores. Lo más preocupante es que el modelo propuesto tendrá que ser revisado en poco tiempo: la propuesta para una medición debe ser estructural y no una lista de chequeo.
Es necesario iniciar un debate donde se discuta cómo construir modelos en los que la medición de la ciencia, su difusión y su apropiación estén pensadas para el beneficio de la sociedad, no solo para contar con indicadores que miden apariencias y no realidades.
