Bibliotecas. Vol 36, N°1 Especial, 2018. EISSN: 1659-3286 URL: http://www.revistas.una.ac.cr/index.php/bibliotecas/index DOI: http://dx.doi.org/10.15359/rb.36-1.1 Licencia: Creative Commons (BY-NC-ND) 4.0 Internacional
Recibido: 20 de febrero de 2020 Aceptado: 30 de setiembre de 2020 Publicado: 22 de febrero de 2021
El conocimiento generado y acumulado en las Instituciones de Educación Superior (IES) es una de las bases para su función social, por lo tanto resulta importante medir la evolución y los patrones temáticos de la producción científica registrada en las publicaciones. Se caracterizó la producción científica de las IES colombianas durante el período comprendido entre los años 2006 y 2015 mediante el análisis de la actividad científica, en la base de datos Scopus. Para el análisis de la distribución temática de cada IES se utilizó la estructura utilizada por el Consejo Nacional de Acreditación (CNA) que agrupa las áreas temáticas en ocho grandes grupos según los campos del conocimiento. No se excluyeron las autocitas. Como fuente de normalización se utilizó el Sistema Nacional de Información de Educación Superior (SNIES) que incluye un directorio de IES y las estadísticas con indicadores específicos (Ministerio de Educación Nacional, 2009). Los resultados muestran que el índice de citación de los investigadores de las IES colombianas es creciente al igual que su producción intelectual y se concentra principalmente en diez universidades, que posiblemente presentan mayor visibilidad internacional en materia de publicaciones indexadas.
Cienciometría, producción científica, indicadores bibliométricos, evaluación de la investigación, Instituciones de Educación Superior
The knowledge generated and accumulated in Higher Education Institutions (HEIs) is one of the bases for their social function, for this reason it is important to measure the evolution and the thematic patterns of their scientific production registered in the publications. The scientific production of the Colombian HEIs, was characterized during the period between 2006 and 2015 through the analysis of the scientific activity in the Scopus databases. For the analysis of the thematic distribution of each HEIs, the structure used by the National Accreditation Council (NAC) was used, which groups the thematic areas into eight large groups according to the fields of knowledge. Self-citations were not excluded. As a standardization source, the National Higher Education Information System which organizes, which includes a directory of HEIs and statistics with specific indicators (Ministry of Education, 2009). The results show that the citation index of the researchers of the Colombian HEIs is growing as well as their intellectual production and is concentrated mainly in ten universities, which possibly have greater international visibility in terms of indexed publications.
Scientometrics, scientific output, bibliometric indicators, evaluation of research, Higher Education Institutions.
El conocimiento se ha convertido en el principal activo con el que cuentan los países en un mundo caracterizado por un creciente dinamismo, la globalización y por ser altamente competitivo. La recesión, un ritmo moderado de recuperación económica y los apremiantes problemas sociales y ambientales han ejercido un considerable impacto en la innovación y las políticas públicas. En este entorno, el desarrollo de la práctica científica ha evolucionado y exige mejorar la calidad de las actividades científicas y tecnológicas, la circulación de información y la creación y el fortalecimiento de capacidades.
El hecho de que en Colombia las actividades de investigación las realicen especialmente las IES (Instituciones de Educación Superior) y su divulgación se lleve a cabo primordialmente en revistas científicas especializadas indexadas en índices de citación y bases de datos que las comunidades científicas reconocen como espacios para la divulgación de resultados de investigación con alto impacto científico, lleva a que las IES se enfrenten a un triple reto: a) generar políticas y estrategias concernientes a la investigación en el marco de la internacionalización; b) colaborar internacionalmente con instituciones pares y las llamadas de tiple hélice: Estado–sector productivo-sociedad civil internacional y desarrollar su investigación en el marco de la tensión existente entre las iniciativas de Open Science y los marcos de transferencia de conocimiento regulados por los ADPIC2 y las grandes corporaciones que indexan la producción científica y, c) evaluar la investigación. (Arango y Douet, 2015).
Estos desafíos han suscitado el interés de los investigadores, profesores, estudiantes de doctorado y maestría y de las propias IES por conocer el impacto, las tendencias, dinámicas y frecuencias de la producción científica y tecnológica de una o varias áreas del conocimiento junto al debate académico. Asimismo, llaman la atención sobre la necesidad de evaluar el impacto de la política de ciencia y tecnología en todas las esferas de la sociedad.
En la definición de criterios, indicadores y mediciones tendientes a identificar el impacto de la producción científica, entendido como la medida de la relevancia e influencia de una publicación de acuerdo con el número de citaciones, se utilizan principalmente índices citacionales como el Web of Science, también conocido como WoS, o Scopus (OECD, 2015) y otras métricas entre las que se encuentran el índice H de Hirsch (H) y sus variaciones (Hirsch, 2005), el Eigenfactor y Article Influence, entre otros.
En términos de la producción científica, se advierte que el país aporta el 0,2% del total mundial, una contribución muy baja asociada a: 1) el hecho de que los investigadores colombianos publican en revistas científicas nacionales de las cuales tan solo el 13,8% se encuentra en los índices mencionados y cerca del 45% se ubica en las categorías más bajas establecidas por Publindex; 2) una limitada inserción de investigadores colombianos en redes internacionales y 3) al bajo índice H de las revistas nacionales de acuerdo con la información reportada en Google Scholar (Colciencias, 2016).
Por otro lado, las IES que cuentan con el reconocimiento oficial (Ministerio de Educación Nacional, 2016), han propiciado y fomentado desde las aulas el interés investigativo de formación de conocimiento científico como principal motor económico del país, por lo cual los resultados de investigación divulgados primordialmente a través de artículos, publicados en las bases de datos, permiten que la visibilidad y la medición de la investigación del país frente a otros países de la región o del mundo, sea factible de realizar.
Este artículo tiene como propósito presentar la dinámica de la investigación en las IES colombianas, reflejada en las publicaciones que se encuentran en la base de datos de Scopus, en el período comprendido entre el 2006 y el 2015. El artículo se estructura en tres partes: en la primera, se introduce el tema a través de un marco general que permite entender y ubicar el objeto de estudio; en la segunda, se presenta la metodología utilizada para el desarrollo de la investigación y, en tercer lugar, se aborda el análisis de los resultados, la discusión de estos y las conclusiones.
Las Instituciones de Educación Superior (IES) son instituciones que cuentan con el reconocimiento oficial como prestadoras del servicio público de la educación superior en el territorio colombiano (MEN, 2016). Se clasifican según su carácter académico y jurídico de la siguiente manera:
• Carácter académico: define la identidad de la institución de educación superior, es decir, su competencia académica y formativa, lo cual le permite ofrecer programas académicos en diferentes modalidades: Instituciones técnicas profesionales, Instituciones tecnológicas, Instituciones universitarias o escuelas tecnológicas y las Universidades (Art. 20, Ley 30 de 1992).
• Naturaleza jurídica: especifica las principales características, que desde lo jurídico y administrativo distinguen a una y otra persona jurídica y tiene que ver con el origen de su creación. Se clasifican en públicas o privadas. A su vez, las instituciones públicas se dividen en establecimientos públicos o entes universitarios autónomos.
La actividad de la investigación científica debe resultar en la generación de novedosos conocimientos derivados de procesos de investigación rigurosos y confiables, que se constituyen en una contribución relevante para un campo científico determinado y generalmente son sometidos a procesos de evaluación.
En la evaluación de las actividades científicas se utilizan metodologías como las opiniones de los expertos, también conocida como evaluación por pares o peer review, y el estudio y comparación de datos cuantitativos procedentes tanto del análisis del comportamiento de los investigadores, instituciones o países, como de los recursos económicos y sociales invertidos en el sistema científico, lo cual hace necesario el uso de indicadores, en un esfuerzo por objetivizar numéricamente las actividades desarrolladas en el ámbito de la ciencia y la tecnología valiéndose del conocimiento científico publicado.
La investigación en las diferentes áreas científicas es imprescindible para conseguir una mayor eficacia en el sistema científico (Sanz-Casado, E., Lascurain, M., Iribarren, I., 2006). Es por lo que la evaluación de la investigación contribuye con la valoración de la efectividad de la política científica del país y, por ende, de las instituciones, al tiempo que permite identificar los puntos débiles y fuertes de los actores implicados en las actividades de investigación y sirve como instrumento para el establecimiento de prioridades en la asignación de los recursos para investigación.
En Colombia, la investigación es un aspecto inherente a la academia y generalmente ha sido entendida como una función sustantiva de la universidad vinculada con la forma de producir conocimiento científico. No obstante, existe una gran heterogeneidad institucional en términos de la capacidad para investigación como también disciplinaria, la forma de organizar el trabajo, las fuentes de información utilizadas, los medios de procesamiento, el origen de las iniciativas para desarrollar proyectos, así como el sentido mismo de la investigación.
El análisis de la calidad de la investigación implica entre otros insumos, las percepciones de impacto relacionada con las actividades y capacidades científicas, la fortaleza del Sistema Nacional de Ciencia y Tecnología, la política de estímulos a los investigadores y el acceso a la financiación de proyectos, entre otros, por lo que sería más apropiado hablar de “indicadores sociales de ciencia y tecnología” como una forma de subrayar el contenido social de la producción de conocimientos; planteamiento que se enmarca dentro de los parámetros de los estudios de Ciencia, Tecnología, Sociedad e Innovación CTS+I especialmente en lo concerniente a la apropiación social del conocimiento Acevedo (2017).
En relación con el uso de las métricas para la evaluación de la investigación, Hicks y otros (2015) sostienen que estas fueron diseñadas individualmente y para un contexto específico y, sin embargo, ahora su uso se ha proliferado y a menudo son mal aplicadas. La Declaración de San Francisco (2014), así mismo, llama la atención sobre la necesidad apremiante de mejorar la forma en que los resultados de la investigación científica son evaluados y propone una serie de recomendaciones sobre la base de que estos resultados deben ser medidos con precisión y evaluados con prudencia. Esta declaración considera recomendaciones generales para los organismos de financiación, para las instituciones, para las editoriales, para las organizaciones que provean métricas y para los investigadores. Entre las recomendaciones que hacen se encuentran las siguientes:
• No utilizar métricas basadas en revistas, tales como índices de impacto de revistas, como una medida sustitutiva de la calidad de los artículos de investigación individuales, con el fin de evaluar las contribuciones de un científico, o en la contratación, promoción, o en las decisiones de financiación.
• Es necesario evaluar la investigación por sus propios méritos y no con base en la revista en la que se publica la investigación, y aprovechar las oportunidades que ofrece la publicación en línea.
Los resultados de la investigación científica son muchos y variados y los organismos de financiación, las instituciones que emplean los científicos y los propios científicos necesitan evaluar la calidad e impacto de la producción científica por lo que es imperativo que la producción científica se mida con precisión y se evalúe con prudencia (Declaración de San Francisco, 2014).
En este sentido, mientras la cienciometría aplica técnicas bibliométricas a la ciencia para conocer el desarrollo de las disciplinas y subdisciplinas, la relación entre ciencia y tecnología, la obsolescencia de los paradigmas científicos, la estructura de la comunicación entre los científicos, la productividad y creatividad de los investigadores y las relaciones entre el desarrollo científico y el crecimiento económico, la bibliometría estudia la organización de los sectores científicos y tecnológicos a partir del estudio del volumen, crecimiento, obsolescencia y difusión de la literatura científica y el análisis de los actores principales de actividades científicas, es decir, el estudio de la estructura social de los grupos que producen, utilizan y transmiten la ciencia para determinados fines, entre los cuales está la mitigación de los problemas de la sociedad.
La evaluación de las actividades científicas tiene su aplicación sobre instituciones o investigadores con diferentes niveles de agregación: micro, meso y macro. En el nivel micro los datos sobre publicaciones y citaciones investigados están referidos a un artículo, proyecto o grupo; en el nivel “meso” a un grupo de publicaciones, subdisciplina o institución y en el nivel “macro” se refieren a todas las publicaciones seleccionadas según puntos de vista dados, una disciplina en su conjunto o un grupo de países. Así, cuando se quiere estudiar aspectos de tipo cualitativo, se recurre a las opiniones de expertos (peer review), mientras que para determinar aquellos aspectos de tipo cuantitativo o si se pretende estudiar y comparar el comportamiento tanto de investigadores, como de instituciones o países, se hace necesario el uso de indicadores bibliométricos (Vinkler, 1988).
Las técnicas de recuento tienen múltiples aplicaciones que van desde el análisis del volumen de publicaciones, las fuentes más citadas, la productividad de los autores, instituciones o materias y las revistas más utilizadas por los investigadores para divulgar su trabajo, hasta el conocimiento de la estructura, procesos, evolución y otros aspectos relacionados con la naturaleza de las ciencias.
El objetivo principal de los indicadores ha sido la descripción de los outputs o resultados científicos desde dos puntos de vista: el primero basado en la producción por lo que se centra en el recuento de las publicaciones, mientras que el segundo trata de analizar el aspecto cualitativo de dichas producciones a través de su impacto y difusión en la comunidad científica.
Otra vertiente de los indicadores es el mapeo, orientado a la representación cognitiva de la ciencia, bien sea desde sus contenidos o desde las relaciones establecidas entre los documentos, conocido como indicadores relacionales. Los indicadores derivados de estas dos perspectivas pueden ser integrados en dos bloques diferenciados, como lo han propuesto Callon y Courtial (1995).
En el Cuadro 1 se listan un conjunto de indicadores significativos, sin embargo, existen otras propuestas de diversos autores como King (1987) o Vinkler (1998) que incluyen hasta 46 indicadores diferentes, sobre las que se han ido derivando y superponiendo otras posteriores como la clasificación aportada por Spinak (1998) o Sancho (1990, 2001).
Fuente: Torres S., D. (2007)
Se encuentran también propuestas de indicadores orientados hacia los inputs o las inversiones en los sistemas de I+D como los contemplados en el manual de Frascati, limitado a la contabilización de los recursos humanos y financieros que se miden con los mismos patrones que otras actividades, y otros indicadores de carácter socioeconómico como los propuestos en el manual de Oslo y el Manual de Bogotá. (como se muestra en el Cuadro 2)
La opinión de los expertos (evaluación por pares peer review) consiste en el dictamen de especialistas en un área determinada sobre una institución científica, un grupo de investigación, científicos individuales, proyectos o programas o para la selección de trabajos científicos para su publicación (Sanz Casado, 2007) y presenta algunas limitaciones que han sido anotadas por diferentes autores como Hernon y Schwatz (2006), Merton (1968) quien enunció el efecto Mateo para determinar la influencia de las investigaciones en función del prestigio previo de los autores o las instituciones que las llevan a cabo, de manera que científicos con igual cantidad de trabajos publicados, serán más reconocidos o más rápidamente según la institución para la que trabajen, King (1987); entre otros.
Fuente; Sancho (2001) y Moneda (2003).
Varios autores, entre ellos Hicks y otros (2015), sostienen que la evaluación de la ciencia pasó de ser hecha por el juicio de los expertos a depender de estas métricas, no obstante, su uso correcto no es fácil de aplicar puesto que las normas de publicación y citación varían según el campo científico, tema y lengua o rango institucional del evaluado. Según la opinión de los expertos de la Universidad de Leiden, las funciones de la investigación y los objetivos de la evaluación cambian o se desplazan, y el sistema de investigación co-evoluciona con ellos, y, en consecuencia, las medidas que sirvieron un día dejan de ser novedades y aparecen nuevos indicadores, por lo tanto, los sistemas de indicadores tienen que ser revisados y tal vez modificados (Hicks y otros, 2015).
Es así como, en la evaluación de la investigación no se trata de asumir indiscriminadamente los indicadores y modelos basados en índices de citación, sino de construir indicadores relativos (Arencibia y Moya, 2008) que permitan captar las fortalezas y debilidades de las instituciones encargadas de producir conocimiento científico y difundirlo a las comunidades científicas.)
En este contexto, a la hora de interpretar los indicadores, es preciso tener en cuenta que no se debe considerar ningún indicador por si solo ya que cada indicador revela una faceta de una realidad multidimensional que no puede evaluarse mediante un indicador simple (Sancho, 1990), además de que solo cobran utilidad cuando se muestran en conjunto e interrelacionados entre sí (Camí, 1997). Se debe tener en cuenta el nivel de agregación: macro (países) que presenta una mayor robustez y son menos sensibles a posibles errores en la recuperación de la información y la pérdida de documentos, debido al alto volumen de documentos utilizados, meso (instituciones) y micro (investigadores, departamentos).
La presencia de indicadores bibliométricos para la caracterización de la investigación ofrece alternativas objetivas para identificar dinámicas y tendencias de la investigación por parte de las IES colombianas. Indicadores como los relacionados con la producción, la distribución de autores y distribución de citas y referencias permiten evaluar la actividad, productividad y progreso de la investigación (Arenas, Dovalina y Licea de Arenas, 2004).
La investigación de corte descriptivo utilizó como fuente de información principal la base de datos Scopus y el Sistema Nacional de Información de la Educación Superior (SNIES) para explorar la producción científica, el índice de citación, así como la distribución temática, y caracterizar la producción científica realizada en las Instituciones de Educación Superior (IES) colombianas registrada en Scopus en el periodo comprendido entre el 2006 y el 2015.
El SNIES constituye el registro administrativo desarrollado por el Ministerio de Educación Nacional como instrumento de recopilación, organización y divulgación de información relevante de las instituciones de educación superior y de los programas que estas ofrecen dentro del marco de la reglamentación, regulación y reconocimiento oficial. (Ministerio de Educación Nacional, 2012).
Scopus, creada en 2004 por Elsevier, es una base de datos que permite la consulta y el acceso a las referencias bibliográficas de publicaciones científicas (peer-review) procedentes de editoriales distintas, ofrece amplia cobertura de revistas y ha sido utilizada con frecuencia como fuente de información en los estudios de evaluación de la ciencia, facilita una mayor precisión y comprensión del impacto académico de los autores según Bar-Ilan (2008) , Meho y Yang (2007) e igualmente, ofrece un 20% más de cobertura que el WoS al igual que ocurre con el cálculo del índice H (Falagas y otros, 2008) (Arencibia, 2010), aunque también presenta algunas limitaciones, como errores de descripción y relación entre autores y falta de normalización.
El universo incluye todas las IES colombianas reconocidas por el Ministerio de Educación Nacional. La muestra la conforman 69 instituciones, cuya producción científica se encuentra publicada en revistas indexadas en la base de datos Scopus en el período de estudio y de las cuales 24 son de naturaleza jurídica estatal u oficial y 45 son IES privadas.
Para el análisis de la distribución temática se utilizó la estructura de clasificación de las áreas y los núcleos básicos de conocimiento establecida por el Ministerio de Educación Nacional (2012), agrupada en 8 áreas de conocimiento. Con respecto al área de educación, es importante aclarar que no se encontraron documentos de ninguna de las IES colombianas en la base de datos Scopus.
Para la localización de los trabajos publicados, entre cuyos autores al menos uno perteneciera a alguna IES colombiana, se efectuó una estrategia de búsqueda global, debido a la gran variedad de nombres bajo los cuales aparecen las instituciones en la base de datos.
Entre las IES colombianas identificadas se encuentran algunas con distintas sedes no solo en el mismo departamento, como es el caso de la Universidad de Antioquia, sino otras con sedes en diferentes departamentos. El caso más claro es el de la Universidad Nacional cuyos centros están ubicados en Bogotá, Medellín, Cali, Palmira, Manizales, Leticia, Arauca, San Andrés y Providencia y Tumaco. Estos casos se unificaron en una sola IES.
El análisis de la producción científica de las IES colombianas publicada en Scopus, durante el período analizado muestra un crecimiento sostenido (Gráfico 1) en el que el año de mayor producción es el 2015 (6.688 documentos) y el de más baja producción científica es el 2006 que alcanza solo un 4% del total.
Fuente: Diseño propio con datos extraídos de Scopus.
Esta tendencia se explica por las exigencias de publicación que las IES hacen a los investigadores y docentes como requisito para ascender en el escalafón y, que a su vez, contribuye para que las IES escalen posiciones en los rankings internacionales, en los cuales la investigación es una de las variables que mayor peso tiene en la medición del desempeño de estas. Efectivamente, desde el año 2009 el Scimago Research Group (SRG) ofrece una clasificación a partir de un indicador basado en el desempeño de la investigación, en términos de su aporte científico a la ciencia mundial.
Los indicadores de producción científica se obtienen a partir del recuento de las publicaciones científicas y aportan información sobre uno de los aspectos más importantes de la actividad científica, como es el crecimiento de una disciplina, de un país, de una institución o de un grupo de investigación. La Ley de la productividad de los autores (Lotka, 1926) expresa que el mayor número de autores publican el menor número de trabajos, mientras que el menor número de autores publica un mayor número de trabajo, siendo este el grupo más prolífico. Bordons y Zulueta (1999) y Camps (2007) sugieren no efectuar comparaciones entre áreas temáticas, debido a que los hábitos de productividad y publicación de los autores difieren según el área (ciencias sociales, ingeniería y tecnología, ciencias naturales y experimentales). Para el caso de las IES, el análisis de la productividad no entra a determinar si la contribución de los grandes productores es de menor o igual calidad que la contribución de los menores productores.
No obstante, en la ciencia actual los indicadores de producción no reflejan fidedignamente los resultados científicos originales, debido a la práctica conocida como publicar o perecer (Publish of Perish) que ha llevado a los investigadores a fragmentar sin necesidad los resultados de sus investigaciones en diversos trabajos debido a las presiones a las que se ven sometidos para incrementar su producción científica (Buchholz, (1995), Abelson, (1990).
En este contexto, la dinámica de la publicación científica se relaciona con los demás productos obtenidos en los procesos de investigación, los cuales son clasificados por Colciencias en: 1) Generación de nuevo conocimiento, 2) Desarrollo tecnológico e innovación, 3) Apropiación social del conocimiento y 4) Formación de recursos humanos para la Ciencia, la Tecnología y la Innovación (CTI). (Colciencias, 2016). El Cuadro 3 muestra el volumen de documentos publicados por las IES en Scopus de acuerdo con su naturaleza jurídica.
Fuente: Diseño propio con datos extraídos de Scopus.
Según se observa, la mayor cantidad de documentos publicados en las revistas indexadas en Scopus, se concentra en las instituciones del sector público las cuales ostentan el 60% de la producción científica total para el periodo analizado, mientras que el resto proviene del sector privado. De estos documentos, 38.672 son artículos y 2.125 son revisiones.
Fuente: Diseño propio con datos extraídos de Scopus.
En el cuadro anterior (Cuadro 4) se observa que la producción científica se centraliza principalmente en las Universidades (99.6%); las instituciones universitarias tienen una baja participación (0.37%) y las instituciones tecnológicas solo alcanzan el 0.01% de la producción total.
Se observa que la producción científica nacional de las IES colombianas se concentra en solo 10 IES que representan el 73% de la producción científica total nacional (Gráfico 2), así las universidades: Nacional de Colombia ostenta el 25% de la producción científica, Antioquia el 14%, los Andes el 9%, del Valle el 7 %, Pontificia Universidad Javeriana de Bogotá el 5%, Industrial de Santander el 4%, Colegio Mayor de Nuestra Señora del Rosario el 3%, de Cartagena 2%, Pontificia Bolivariana el 2% y la del Norte el 2% (Gráfico 2). Las demás IES, tanto del sector público como privado, constituyen el 27% restante de la producción académica nacional. En este grupo las IES de mayor productividad son el Colegio Mayor de Cundinamarca (82), Universidad de la Guajira (29) y Universidad Católica de Manizales (14). Aquellas con menor producción científica son el SENA y la Fundación Universidad de América, cada una con 3 documentos.
Fuente: Diseño propio con datos extraídos de Scopus.
Estos resultados permiten inferir que las instituciones con mayor productividad son aquellas que tienen mayor desarrollo, visibilidad internacional en materia de publicaciones indexadas e igualmente realizan una mayor gestión en la actividad de investigación al disponer de oficinas o Vicerrectorías y una política de investigación institucional definida y articulada con una agenda de investigación, criterios tenidos en cuenta para figurar en el top 20 de rankings como U-Sapiens, una clasificación de las mejores universidades colombianas según indicadores de investigación, como es el caso de la Universidad Nacional con sede en Bogotá. No obstante, algunas de las otras 59 IES, excluidas de este grupo, seguramente publican en revistas que no están indexadas en Scopus, han alcanzado reconocimiento como universidad y tienen acreditación de alta calidad, reconocimientos que permiten confirmar que la investigación es uno de los pilares para la obtención de dicho reconocimiento.
Una de las variables más importantes para determinar la calidad de la producción intelectual es la cantidad de citas recibidas, gracias a que se supone que las mejores investigaciones son las más utilizadas y por ende las más citadas, lo cual permite considerar los hábitos de citación recibida como factor de análisis de la producción científica, según Arencibia y Moya) (2008). No obstante, autores como Mustafa (2016) encuentran las citas perjudiciales en casos como el de las autocitas, citas negativas, citas incorrectas, citas sesgadas por múltiples autores, citas honorarias, circunstanciales, discriminatorias, selectivas y arbitrarias.
En este sentido, un artículo puede ser muy citado por un tiempo, pero años más tarde puede suceder que sus hallazgos, paradigmas o teorías no eran tan verdaderos o válidos o, por el contrario, puede ser ignorado durante años o décadas, pero nuevos hallazgos o descubrimientos pueden actualizar su tema en cualquier momento. Es claro que el recuento de citas no significa que un trabajo más citado es de mayor calidad o precisión que un trabajo menos citado, porque las citas no miden la calidad o la precisión y, por tanto, que un autor o revista con un alto número de citas sea más recomendable que un autor o revista con menos.
Teniendo en cuenta que las revistas son el principal canal de comunicación utilizado por los investigadores para la socialización de los resultados de la investigación, estas son medibles a través de indicadores que permiten revisar qué tanto de la producción es citada por terceros como fuentes fiables de información. Es así como la toma de datos se obtuvo de citaciones recibidas por la cantidad de publicaciones durante el periodo 2006 al 2015. En el Gráfico 3 se observa un crecimiento sostenido en la citación de las IES colombianas que para el 2015 es del 24% de la citación total, excluyendo las autocitas. De modo semejante, a partir del año 2012 se evidencia un crecimiento continuo en las citas. No obstante, el avance científico del país en términos de las cifras de instituciones como Colciencias y el MEN, se concentra en un escaso número de IES que, sin embargo, a pesar de ser las primeras en producción de documentos indexados en Scopus, no necesariamente reciben el mayor número de citas.
Fuente: Diseño propio con datos extraídos de Scopus.
Efectivamente, las universidades Nacional, Andes, Antioquia, del Valle, Antonio Nariño y demás IES relacionadas en el Gráfico 4, tuvieron más de 4.000 citas. De hecho, en las tres primeras instituciones de esta clasificación se concentra el 53% de las citas totales recibidas por las 69 instituciones. Como se observa la mayor productividad científica no necesariamente implica un mayor número de citas recibidas.
Fuente. Diseño propio con datos extraídos de Scopus.
Se tomaron las 8 áreas del conocimiento que reporta el SNIES, incluidas las 27 áreas temáticas que Scopus considera, según Arencibia (2010). El análisis de las temáticas que trabajan las IES en Colombia es un factor determinante para poder determinar la tendencia disciplinar de la investigación.
El Gráfico 5 muestra que el área de Ciencias de la Salud es la que alcanza mayores índices de actividad y visibilidad con el número de citas por artículo más alto, que junto con Matemáticas y Ciencias Naturales son las más productivas y visibles de la producción científica de la IES colombianas. En contraste, la menor productividad reposa en el área de Bellas Artes con apenas 1.416 documentos indexados. Ciencias Sociales, si bien es cierto tiene amplia cobertura en Scopus, las IES colombianas solo son responsables de 3.793 documentos, equivalente al 7% de la producción científica total.
Fuente: Diseño propio con datos extraídos de Scopus
Según el Cuadro 5, la categoría “otros”, considerada por Scopus, incluye artículos que no pertenecen a las áreas o núcleos básicos determinados en la estructura del SNIES.
Fuente: Diseño propio con datos extraídos de Scopus.
Una tendencia para posicionarse con altos índices de colaboración internacional es la participación en proyectos enmarcados bajo el concepto de Big Science (Garfield, 1987), los cuales son desarrollados por equipos internacionales, interinstitucionales e interdisciplinarios. Participar en estos proyectos trae beneficios a las IES como compartir y transferir conocimiento y aumentar las probabilidades de publicar los resultados en revistas de primer quartil mejorando así su visibilidad e impacto (Ortoll, Canals, García y Cobarsí, 2014). Un claro ejemplo de instituciones con altos índices de colaboración internacional relacionados con la participación en proyectos de Big Science son la universidad de los Andes y la Universidad Antonio Nariño, que participan en investigaciones desarrolladas en la Organización Europea para la Investigación Nuclear (CERN), logrando posicionarse con altos índices de colaboración internacional. Se observa que las IES colombianas han aumentado los índices de colaboración a medida que pasan los años principalmente en el ámbito internacional, mejorando así sus posibilidades de visibilidad y posicionamiento (Gráfico 6).
Fuente: Diseño propio con datos extraídos de Scopus.
El Gráfico 7 muestra los países de las instituciones que han producido documentos en colaboración con las IES colombianas durante los años 2006-2015, el tamaño de cada nodo y proximidad con Colombia representa la cantidad de documentos compartidos, así se observa que los países con mayor cantidad de colaboraciones son Estados Unidos y España con más de 4000 documentos, Brasil, Reino Unido, Francia, Alemania y México con más de 2000 documentos colaborados cada uno, seguido por naciones como Argentina, Italia, China, Canadá, Australia, Suecia, entre otros, con 1000 y 2000 documentos colaborados. En la periferia se encuentran países como Grecia, Corea del Sur, Japón, Bélgica, Venezuela, Ecuador, entre otros, con menos de 1000 documentos; las IES colombianas procuran mayoritariamente que su colaboración internacional sea con países líderes en investigación y publicación de documentos, mejorando sus probabilidades de visibilidad y posicionamiento.
Fuente: Vosviewer con datos extraídos de Scopus.
Este estudio puede ser de interés para los editores de las revistas de las IES colombianas, en aras de mejorar la calidad o de implementar medidas que contribuyan a un incremento de su influencia en la comunidad científica, lo cual confirma los planteamientos de Arencibia y Moya (2008) en relación con que la disponibilidad de revistas en soporte electrónico es vista como una oportunidad para incrementar su influencia, y aunque los resultados de este estudio parecen estar en concordancia con esta tendencia, para medir su significación habría que ampliar la investigación realizándola por áreas del conocimiento.
Los indicadores utilizados para evaluar la investigación pueden proporcionar información concluyente que sería difícil de entender a partir de experiencias individuales, sin embargo, la información cuantitativa no se puede convertir en un objetivo en sí misma y debe acompañarse de evaluación cualitativa.
Los resultados del estudio brindan a los actores involucrados en la investigación de las IES, la posibilidad de reconocer a-priori las decisiones más convenientes para difundir los resultados de las investigaciones, teniendo en cuenta las posibilidades de visibilidad. Conforme a los hallazgos de este estudio los trabajos publicados en las revistas indexadas de mayor impacto tienen más probabilidad de ser conocidos, leídos y citados que los publicados en otras revistas, al menos desde la perspectiva de su visibilidad.
La participación en proyectos enmarcados bajo el concepto de Big Science trae beneficios para las IES como compartir y transferir conocimiento y aumentar las probabilidades de publicar en revistas de primer quartil mejorando así su visibilidad e impacto, como es el caso de las Universidades de los Andes y Antonio Nariño (Gómez, Gerena, 2017) confirmándose los planteamientos expuestos por Ortoll, Canals, García y Cobarsí (2014).
Es interesante encontrar que la colaboración en todos los ámbitos es cada vez mayor, lo que permite inferir que se están dando procesos de producción científica colaborativa alineados con las políticas institucionales de investigación que indudablemente impactan el posicionamiento de las IES en los rankings nacionales e internacionales. Las IES con mayores índices de citación son aquellas que participan en grandes grupos de colaboración, como los desarrollados en el marco de Big Science, que les permite interactuar con instituciones de mayor experiencia en investigaciones que en Colombia no se podrían desarrollar, por ejemplo las investigaciones desarrolladas como parte del proyecto Atlas.
El índice H de las instituciones tiende a aumentar en la medida en que su producción y citas respectivas aumentan, mostrando así que la calidad de la investigación mejora con la experiencia de los investigadores.
Los resultados permiten confirmar que existen momentos y fenómenos característicos de cada comunidad científica e investigativa de las IES colombianas, que inciden directamente en la cantidad y calidad de sus aportes al conocimiento en general, y que al ser sometidos a su cuantificación manifiestan dificultades, teniendo en cuenta que en la investigación interfieren tanto aspectos tangibles como intangibles.
Agradecimientos: La autora agradece a UNINPAHU por el auspicio de la investigación, Alexander Gerena; Joven investigador y a las integrantes del semillero de investigación: Marisol Sogamoso, Pilar Mora y Claudia Marcela Fajardo; por su colaboración en el desarrollo de la investigación.