Bibliotecas. Vol 39, N°2, julio - diciembre 2021. EISSN: 1659-3286
URL: http://www.revistas.una.ac.cr/index.php/bibliotecas/index
DOI: http://dx.doi.org/10.15359/rb.39-2
Licencia: Creative Commons (BY-NC-ND) 4.0 Internacional

Evaluación bibliométrica y temática de revistas incluidas en el Scimago Journal Rank

Bibliometric and thematic evaluation of Education journals included in the Scimago Journal Rank

Orlando Gregorio-Chaviano
Pontificia Universidad Javeriana. Bogotá, Colombia
ORCID:https://orcid.org/0000-0002-3064-8639

Evony Katherine López-Mesa
Biblioteca. Universidad La Gran Colombia. Bogotá, Colombia.
ORCID: https://orcid.org/0000-0001-9148-4001

María-Consuelo Zamora
Pontificia Universidad Javeriana. Bogotá, Colombia.
ORCID: https://orcid.org/0000-0003-2176-0706

Recibido: 02 de marzo de 2021
Aceptado: 25 de marzo de 2021
Publicado: 09 de diciembre de 2021

Resumen

El objetivo de la presente investigación es analizar las revistas colombianas de educación incluidas en el Scimago Journal Rank (SJR), utilizando indicadores bibliométricos y criterios de calidad editorial, que permitan conocer tendencias y comportamientos tanto desde la perspectiva bibliométrica como de gestión. Se realizó una búsqueda de toda la información registrada por cada revista en la base de datos Scopus y luego de un proceso de limpieza se obtuvieron indicadores de producción, citación y redes, así como el análisis de la endogamia, capacidad de atracción y otras variables.

Como principales resultados se destacan el bajo promedio de citas por documento y de SJR (indicador de prestigio), un 10% de autocitación y revistas con más del 20% de endogamia, junto a una alta participación internacional en las contribuciones. En cuanto a las citas recibidas, estas provienen de revistas del propio ámbito y distribuidas en los distintos cuartiles de forma homogénea. A nivel general, la metodología utilizada aporta elementos sobre el estado y evolución de las revistas seleccionadas, que igualmente puede ser aplicada al estudio de otras revistas.

Palabras clave:

indicadores bibliométricos, revistas científicas, bibliometría, educación, evaluación científica, Scimago Journal Rank (SJR)

Abstract

The objective of this research is to analyze the Colombian education journals included in the Scimago Journal Rank (SJR), using bibliometric indicators and editorial quality criteria, which allow to know trends and behaviors both from a bibliometric and management perspective. A search was made of all the information registered by each journal in the Scopus database and after a cleaning process, production, citation and network indicators were obtained, as well as the analysis of inbreeding, attractiveness and other variables.

The main results were low average number of citations per document and the SJR (prestige indicator), 10% self-citation and journals with more than 20% endogamy, in addition to a high international participation in the contributions. With respect to the citations received, these come from journals in the same area and distributed in the different quartiles. In general, the methodology used provides elements on the status and evolution of the selected journals, which can also be applied to the study of others journals.

Keywords:

bibliometric indicators, scientific journals, bibliometrics, education, scientific evaluation, Scimago Journal Rank (SJR)

I. Introducción

Las revistas científicas representan el principal medio de divulgación de los resultados de investigación y de evaluación de la actividad científica (Delgado López-Cózar, 2017). La presencia en bases de datos y sistemas de información aporta calidad a partir de los criterios utilizados por cada base, así como visibilidad y prestigio a las instituciones responsables de ellas. Su evaluación, tanto de la gestión como de aspectos bibliométricos relacionados con la visibilidad e impacto, es un aspecto que los responsables editoriales deben atender de manera permanente y revisarse constantemente, como método válido para realizar ajustes a los contenidos publicados (López-Cózar et al., 2006).

Estos procesos de evaluación han tenido propósitos distintos que van desde el análisis del comportamiento de la producción y citación (López-Robles, et al., 2019), hasta la revisión del cumplimiento de criterios. Con respecto a los métodos bibliométricos, se distinguen múltiples tipos de estudios como los dirigidos a estudiar un conjunto de revistas dentro de un país, institución o disciplina (Delgado-López-Cózar, 2001), centradas en el estudio de una sola publicación, habitualmente tratando su evolución y comportamiento a lo largo del tiempo (Abadal, 2018; González-Alcaide et al., 2018). En este escenario, la obtención de indicadores bibliométricos ayuda a la evaluación del conocimiento generado y las regularidades de los agregados, incluyendo las revistas (Peralta et al., 2015; Repiso et al., 2021). Como instrumentos de análisis, dentro de la bibliometría, tienen variedad de usos en el análisis de regularidades y tendencias tanto en lo cualitativo como en lo cuantitativo, elementos esenciales para la toma de decisiones, la planificación y la gestión de la investigación.

En la evaluación de revistas, las posibilidades e importancia de utilizar los indicadores bibliométricos abarcan un amplio espectro y parten de la propia misión como principal medio de registro,comunicación de la ciencia y control de calidad, asimismo, certifican la información publicada en las distintas áreas y campos de conocimiento (Maltrás, 2003). Lo anterior, permite conocer aspectos de las prácticas de publicación de las disciplinas, validar la calidad del conocimiento generado y comprender las estructuras de estas.

Uno de los primeros indicadores empleados con propósito evaluativo fue el factor de impacto (Garfield, 1955). En años siguientes, aparecieron otros que, con más o menos precisión y aceptación en la comunidad científica, fueron aplicados con iguales objetivos. Al mismo tiempo que estos surgieron, se han propuesto iniciativas igualmente útiles como control de calidad por su prestigio, aceptación y considerables aportes que realizan en la región se deben mencionar Latindex (Cetto, 1998), Scielo (Packer et al., 2006) y Redalyc (Aguado López et al., 2008). Todas ayudan a conocer el comportamiento de los ecosistemas regionales de evaluación de la ciencia, en especial aquella que queda por fuera de los tradicionales índices de impacto.

Otros recursos como las clasificaciones de revistas contribuyen de manera significativa a la evaluación, enfocándose en el cumplimiento de criterios, en especial la presencia en bases y sistemas de información y la posición en cuartiles. Propuestas como Qualis de Brasil (MartínezÁvila, 2019), Publindex en Colombia (Charum, 2004) y el Índice Mexicano (Vasen & Lujano, 2017), además de la CIRC (Torres-Salinas et al., 2010), InRecs (Delgado-López-Cózar et al., 2005), la Matriz de Información y Análisis de Revistas MIAR (Rodríguez-Gairín et al., 2011) y recientemente Dialnet Métricas (Gregorio-Chaviano et al., 2021) han sido clave en el proceso de creación de alternativas que junto a los índices regionales, brindan la posibilidad de obtener descriptivas de las revistas y de la investigación en ellas registradas.

En Colombia la evaluación de revistas se realiza por medio del Índice Bibliográfico Nacional Publindex, el cual tiene como objetivo el mejoramiento de la calidad y ofrecer visibilidad a las revistas nacionales en el contexto internacional, para lo cual en sus distintos procesos analiza el cumplimiento de criterios editoriales, de indexación y bibliométricos (Charum, 2004). Más allá de sus aportes al sistema científico nacional, el índice presenta conocidos sesgos y limitaciones con un importante debate en la comunidad científica nacional sobre la validez metodológica y de sus resultados, que ha impactado en diferentes ajustes al producto (Rodríguez et al., 2015).

Aunque el país cuenta con amplia cantidad de revistas de Educación distribuidas en distintos servicios de indexación, solo un reducido número de ellas se encuentran en las principales fuentes e índices de mayor visibilidad. Además de las 6 indexadas en Scimago (https://www.scimagojr.com/), el índice Emerging Source Citation Index (ESCI- (https://mjl.clarivate.com/home) incluye 16, ninguna de ellas en alguno de los tres índices principales del Core Collection (SSCI, SCIE y A&HCI). Sin embargo, otras bases como Redalyc, Scielo, Catálogo Latindex y Dialnet tienen revistas del área, de las cuales solo 277 quedaron clasificadas en la convocatoria 875 de 2020 realizada por el Índice Nacional Publindex (Ministerio de Ciencia, Tecnología e Innovación [Minciencias], 2020).

Para el desarrollo de la presente investigación, se seleccionó el ámbito de Educación y en específico las revistas incluidas en el SJR, teniendo en cuenta la importancia de esta fuente como una de las de mayor interés. De acuerdo con lo anterior, el objetivo es evaluar por medio de indicadores bibliométricos y criterios de calidad la población de revistas de Educación. Al respecto, se hace especial énfasis en que la investigación no se realiza a nivel individual de cada revista, sino que ofrece una mirada grupal a partir de la información registrada en Scopus. Los resultados ayudan a conocer las tendencias y comportamientos de las revistas nacionales, obtener rasgos distintivos de estas y contar también con métodos útiles para grupos editoriales.

II. Metodología

El artículo utiliza el enfoque bibliométrico para el análisis de distintos indicadores de las revistas (producción, citación y redes), así como criterios de calidad editorial para medir el desempeño en términos de gestión. Para la selección de las revistas se utilizó la fuente de información Scimago Journal Rank (SJR) y las seis revistas colombianas incluidas en la categoría Educación. Posterior a este proceso, se realizó una búsqueda bibliográfica de la producción global del conjunto de las revistas en Scopus para recuperar toda la información registrada en ellas.

Los 780 documentos recuperados, se exportaron a EndNote 7.0, gestor bibliográfico con prestaciones bibliométricas que permitió la limpieza y normalización de los resultados y el posterior análisis y obtención de indicadores para una base de datos final con 737 documentos. Se descargó adicionalmente la información citante de las revistas fuente y se construyó una base en Excel para el conteo de frecuencia, análisis y evaluación de las citas recibidas por las revistas de forma tal que se estudiara la calidad de las citas recibidas y sus enfoques.

Como complemento, se consultó el propio Scimago Journal Rank para la búsqueda de los indicios de calidad de cada revista, en especial los valores del indicador SJR, cuartiles, categorías y periodicidad, y Publindex (https://scienti.minciencias.gov.co/publindex/) para conocer la categoría en la que se encuentra cada revista de acuerdo con la última clasificación nacional.

Para la elaboración de las redes se utilizó VOSViewer, software que permitió la visualización de redes de co-ocurrencia de términos (co-words) y estudiar los perfiles temáticos de cada revista (Van & Waltman, 2010). Todo el proceso anterior relacionado con la obtención, recuperación y procesamiento de información se ha resumido en la Figura 1. Incluso, para una mejor comprensión de los indicadores y variables analizadas se describen cada uno en el Cuadro 1.

Figura 1. Detalle del proceso metodológico utilizado

Fuente: Elaboració propia.

*Las revistas se han seleccionado utilizando el Scimago Journal Rank. Esta fuente se encarga de evaluar y obtener indicadores para el conjunto de revistas indexadas en Scopus.

Cuadro 1

Descripción de los indicadores y variables analizadas

Cantidad de documentos Sumatoria de documentos de cada revista en las bases de datos, así como su distribución por tipologías citables.
Periodicidad Frecuencia de publicación de las revistas. Constituye un aspecto relevante para evaluar la gestión y profesionalización de las revistas.
Categoría SJR Facilitan conocer la especialización de las revistas y a partir de ella evaluar sus contenidos y tendencias
Categoría Publindex Resultado del cumplimiento de criterios de la metodología nacional que proporciona la estratificación a partir de estos. Se emplea para evaluar la relación que existe entre los indicadores de Scopus con los resultados de la clasificación que realiza Publindex.
SJR Indicador que aporta información sobre el prestigio a partir de la calidad de las citas recibidas.
Cuartil Distribución de las revistas atendiendo al valor SJR. En este caso se dividen las revistas de cada categoría en cuatro partes iguales según los valores del indicador. En el estudio se emplea para estudiar la calidad de las revistas, su visibilidad e impacto.
Endogamia Se refiere a la cantidad de autores que pertenecen a la propia institución editora o responsable de la revista donde se publica.
Capacidad de atracción Capacidad de las revistas para atraer trabajos externos a la institución editora. En la presente investigación se mide a partir de la diversidad geográfica de los autores que publican en las revistas estudiadas.
Índice de coautoría Cantidad de autores (firmas) por trabajo en la producción de las revistas analizadas.
Número de documentos Muestra el total de documentos publicados por las revistas en el periodo analizado y compara otros indicadores de estas.
Tipología documental Se refiere a las tipologías de las contribuciones de cada revista. Es importante en el estudio para conocer la forma en que distribuyen los contenidos las revistas objeto de estudio.
Información citante Se utiliza para evaluar la calidad de las citas que reciben las revistas colombianas de Educación, teniendo en cuenta los valores SJR y cuartiles. Se analiza la procedencia de las citas desde el indicador de impacto y la posición de la revista citante, citas nacionales y del propio ámbito.
Promedio de citas por documento Muestra la relación de citas por documento publicado. Se utiliza para evaluar el impacto de las contribuciones de cada revista y presenta la limitación que ejemplifica la importancia de la revista como un todo y no artículos individuales.
Tasa de autocitación Se utiliza para evaluar la calidad de las revistas a partir de la cantidad de autocitas sobre el total de las citas recibidas (citas propias). Ayuda en la evaluación de la influencia de las contribuciones.
Co-ocurrencia Muestra el nivel de relación o asociatividad de los términos empleados por las revistas. Esta agrupación permite conocer relaciones de contenidos.

Fuente: Elaboración propia.

 

III. Resultados

En relación con las seis revistas incluidas en la edición 2020 del SJR, como se observa en el Cuadro 2, cuatro de ellas tienen periodicidad semestral, comportamiento de muchas de las revistas nacionales y similar a otras incluidas en distintas fuentes y sistemas. En sentido general, el enfoque es multidisciplinar al no tener solo como especialidad el área de educación, sino que cubren otros enfoques como medioambiente, lingüística y lenguaje.

Existe una mayor presencia en cuartiles 3 y 4 de acuerdo con el SJR y en la categoría C de Publindex. Este comportamiento es resultado de la metodología de los sistemas nacionales con predominio de los índices de citación y en general las falencias de la metodología que lleva a mal posicionamiento de las revistas evaluadas, donde la relación entre la posición en los índices de citación determina las distintas categorías. En el Cuadro 2 se observa que las revistas nacionales se han incluido en Scopus en años recientes con la necesidad y posibilidades de realizar ejercicios de planeación de forma tal que mejoren en el tiempo los principales indicadores. Otro aspecto significativo son los bajos valores de SJR, lo cual indica que la calidad de las citas recibidas aún no proviene de revistas centrales en las distintas categorías.

Cuadro 2

Perfil de las revistas colombianas de Educación incluidas en Scopus

Nombre de la publicación / Institución Editora
Periodicidad
Institución editora
Scopus
Publindex
Indizada a partir de
Categoría temática
Cuartil 2020
SJR 2020
Categoría 2020
Profile: Issues in Teachers’ Professional Development
Semestral
Universidad Nacional de Colombia
2018
Lingüística y lenguaje
Q1
0,351
A2
Educación
Q2
Magis Revista Internacional de Investigación en Educación
Semestral
Pontificia Universidad Javeriana
2008
Educación
Q3
0,325
C
Íkala, Revista de Lenguaje y Cultura
Trimestral
Universidad de Antioquia
2013
Lenguaje y lingüística
Q2
0,259
A2
Lingüística y lenguaje
Q2
Educación
Q3
Revista Colombiana de Educación
Cuatrimestral
Universidad Pedagógica Nacional
2018
Educación
Q3
0,202
C
Nómadas
Semestral
Universidad Central
2019
Antropología
Q4
0,119
B
Estudios Culturales
Q3
Educación
Q4
Psicología
Q4
Ciencias Sociales
Q4
Filosofía
Q3
Revista Luna Azul
Semestral
Universidad de Caldas
2017
Educación
Q4
0,136
C
Medio Ambiente (multidisciplinar)
Q4

Fuente: Elaboración propia a partir del SJR.

Otro aspecto significativo es el considerable aporte de artículos de investigación y revisiones (más del 90%) como principales tipologías documentales, a excepción de Magis que incluye un mayor número de revisiones y material editorial. Esta dinámica en la inclusión de tipologías citables como tendencia es reflejo de la importancia que tiene la incorporación de temas que generen citas en el mediano y largo plazo (Cuadro 3). Se puede observar también que en menor medida utilizan como medio de comunicación otras tipologías como editoriales y notas.

Cuadro 3

Comportamiento de las tipologías documentales de las revistas colombianas de Educación

Titulo Revista
Ndoc indexados en Scopus
Tipología documental indexada en Scopus
Sumatoria artículos y revisiones
Artículos
Revisiones
Editorial
Nota
Short Survey
Profile
85
n=60 (92.3%)
90,8%
1,5%
7,7%
0%
0%
Magia
304
n=279 (91.8%)
83,2%
8,6%
6,3%
1,3%
0,7%
Íkala
169
n=165 (97.6%)
97,6%
0%
2,4%
0%
0%
Revista Colombiana de Educación
71
n=70 (98.6%)
93,0%
5,6%
1,4%
0%
0%
Revista Luna Azul
72
n=70 (97.2%)
90,3%
6,9%
2,8%
0%
0%
Nómadas
99
n=93 (94%)
64,6%
30%
6,7%
0%
70%

Fuente: Elaboración propia a partir de Scopus.

Si consideramos que la cita, más allá de sus sesgos y limitaciones, representa interés y atención por los contenidos publicados, su análisis es importante para el mejoramiento de los procesos de gestión y planeación, de igual modo, conocer las comunidades científicas. Las revistas evaluadas muestran bajos promedios de citas y solo Magis cuenta con más de una cita por documento publicado, comportamiento aceptable para las Ciencias Sociales. Los bajos promedios de citas por documento exponen la necesidad de crear estrategias de visibilidad que aumenten la cantidad de citas y la calidad de estas. Sin embargo, la existencia de tasas de autocitación inferiores al 7% y solo una revista con más de 10%, lo que para las Ciencias Sociales es un buen indicador y de forma general una tendencia aceptable (cuadro 4), que da cuenta de la visibilidad de estas, la calidad de los contenidos, así como de la correcta gestión editorial.

Cuadro 4

Indicadores de citación de las revistas evaluadas

Revista
Total citas
Ncit/Ndoc
Tasa de autocitación
Profile
31
0,47
6,5%
Magis
463
1,52
6,0%
Íkala
86
0,50
14,0%
Revista Colombiana de Educación
18
0,25
5,6%
Revista Luna Azul
21
0,29
0,0%
Nómadas
24
0,21
0,0%

Fuente: Elaboración propia

En el Cuadro 5 se presentan los comportamientos de la endogamia (contribuciones pertenecientes a la institución editora) y la capacidad de atracción (investigación externa a la institución editora), igualmente, el índice de coautoría, indicadores que representan formas de trabajo que impactan en la visibilidad dentro la comunidad científica, además de prestigio y relevancia científica. Para las revistas estudiadas, la endogamia presenta números aceptables a excepción de la Revista Íkala que alcanza el 24%. Las demás muestran porcentajes entre el 11% y 15%. Revistas como Profile mantienen altos índices de atracción de investigación (externa) y baja endogamia, indicador con buen comportamiento en la mayoría de las revistas, lo cual es sinónimo de su visibilidad en el contexto nacional y regional.

En cuanto al índice de coautoría como expresión de colaboración y representado a través del promedio de autores por documento, muestra resultados bajos, relacionados con las Ciencias Sociales y Humanidades, en su mayoría no superiores a 2, de igual manera, patrones de colaboración bajos.

Cuadro 5

Características de calidad de las revistas

Revista Endogamia % Capacidad de atracción % Índice de coautoría %
Profile 6,3 93,7 1.6
Magis 15,5 84,5 1.8
Íkala 24,1 75,9 1.5
Revista Colombiana de Educación 15,5 84,5 1.9
Revista Luna Azul 11,1 88,9 2.1
Nómadas 11,4 88,6 1.3

Fuente: Elaboración propia a partir de Scopus

En el caso de la colaboración, la mayoría de las revistas, a excepción de Luna Azul que expone valores similares en participación de instituciones nacionales y extranjeras, los aportes de instituciones internacionales representan la mayoría (Figura 2). Este resultado es de interés, pues muestra la visibilidad en el contexto nacional y regional.

Figura 2. Porcentaje de participación de instituciones nacionales y extranjeras en las revistas fuente

Fuente: Elaboración propia a partir de Scopus.

La cita dentro del proceso científico posibilita la obtención de distintos indicadores bibliométricos a la vez que muestra el impacto y calidad de la investigación y los patrones de comportamiento de las comunidades científicas. Sin embargo, un elemento esencial en los procesos de evaluación de la actividad científica es estudiar el proceso de citación desde la calidad, el cual puede analizarse entre otros a partir de las revistas que citan su posición, procedencia y prestigio.

Desde la perspectiva anterior, se analizó la procedencia de las revistas citantes (cuadro 6), donde se observa una distribución amplia, con presencia de de las propias analizadas (Magis e Íkala) lo que denota autocitación. En general, estas revistas aportan citas que provienen del entorno nacional y local, resultado que refleja la similitud de perfiles en las revistas de la región. Adicionalmente se evidencia una distribución homogénea de los cuartiles que aportan citas, en mayor medida estas provienen de aquellas que se encuentran en los cuartiles 1 y 3 (Figura 3).

Cuadro 6

Principales revistas citantes

Título
Citas aportadas
Cuartil
País
Categoría
Magis
28
3
Colombia
Educación
Ikala
16
3
Colombia
Educación
Espacios
14
Descontinuada
Venezuela
Business, Management
Profesorado
13
3
España
Educación
Estudios Pedagógicos
10
3
Chile
Educación
Formación Universitaria
9
3
Chile
Educación
Profile: Issues in Teachers' Professional Development
9
3
Colombia
Educación
Cultura y Educación 8 3 Reino Unido Educación
8
3
Reino Unido
Educación
Opción
8
3
Venezuela
Ciencias Sociales
Perfiles Educativos
8
2
México
Educación
Revista Complutense de Educación
7
2
España
Educación
Revista Mexicana de Investigación Educativa
6
2
México
Educación
Teoría de la Educación
6
3
España
Educación
Educação e Pesquisa
5
3
Brasil
Educación
Lengua y Habla
5
2
Venezuela
Lenguaje y Lingüística
Ocnos
5
2
España
Educación
Revista Electrónica Educare
5
3
Costa Rica
Educación
Revista Facultad de Medicina
5
4
Colombia
Medicina

Fuente: Elaboración propia a partir de Scopus.

Con respecto a las temáticas desde las que se generan las citas, estas se concentran en mayor medida en la lingüística y lenguaje, estudios culturales, ciencias sociales y psicología (figura 4), tendencia que visualiza la relación temática de las revistas fuente con ámbitos no siempre relacionados con Educación, aunque cercanos en enfoques, resultado de la multidisciplinariedad de los contenidos publicados.

Figura 3. Porcentaje de citas recibidas por cuartil de las revistas citantes

Fuente: Elaboración propia a partir de Scopus.

 

Figura 4. Principales temáticas de procedencia de las citas

Fuente: Elaboración propia a partir de Scopus.

El Cuadro 7 muestra el efecto que las citas recibidas tienen tanto en las colombianas como en aquellas que provienen del ámbito de Educación. Con respecto a las que proceden de revistas colombianas, los valores porcentuales bajos (por debajo de 15% en la mayoría), a excepción de las revistas Luna Azul y Nómadas, revelan que sus contenidos son visibles en mayor medida en el escenario internacional. Cuando analizamos las citas desde el propio ámbito en el que están clasificadas, se observan valores altos por encima del 60%, donde repiten las anteriores revistas, cuya problemática se centra en la publicación de contenidos alejados de la Educación y una alta multidisciplinariedad.

Cuadro 7

Efecto de citación de las revistas colombianas de Educación

Revista
Citas
Citas nacionales
Efecto %
Citas del área
Efecto %
Profile
146
17
11,6%
127
87,0%
Magis
648
61
9,4%
544
84%
Ikala
214
36
16,8%
142
66,3%
Revista Colombiana de Educación
73
11
15,1%
47
64,3%
Revista Luna Azul
72
20
27,7%
29
40,2%
Nómadas
25
4
16%
12
54,5%

Fuente: Elaboración propia a partir de Scopus.

Co-ocurrencia de descriptores

Para la obtención de los mapas de visualización de cada revista se utilizó Vosviewer y en específico la técnica de normalización de la fuerza de asociación y mapeo (Van & Waltman, 2009) junto a la de clusterización (Waltman et al., 2010). Los distintos clúster están representados por colores y dentro de ellos, nodos o variables relacionados entre sí. Para el análisis de los términos y sus relaciones en cada revista, se tuvieron en cuenta aquellos con frecuencia de aparición mayor o igual a 10 (≥10).

El análisis de los clúster y los términos que forman parte de ellos en cada revista se relacionan con el alcance de estas (figura 5). En el caso de Íkala, enfocada a la publicación de temas de lenguaje, lingüística, literatura, traducción y la enseñanza-aprendizaje de idiomas, entre otros, con 8 clúster principales los temas publicados se relacionan con la alfabetización, escritura académica e inglés como lengua extranjera.

Por su parte en la revista Magis, sus temas de interés se centran en epistemologías, perspectivas de investigación y diseños metodológicos, reflexiones teóricas y resultados relevantes en Educación. La red cuenta con 12 clúster y temas enfocados a la educación superior, profesorado, educación en general y amplia cantidad de temas relacionados. En el caso de la revista Profile dedicada a temas de aprendizaje y enseñanza del inglés como segunda lengua y la formación de docentes, se visualizan 12 clúster relacionados con sus temas centrales donde sobresalen inglés como lengua extranjera y enseñanza de inglés. Sin embargo, dentro de los clúster identificados no se observan términos con liderazgo.

La Revista Colombiana de Educación, dedicada a la publicación de estudios teóricos sobre el campo de la educación y la pedagogía, investigación educativa y revisiones sistemáticas de la literatura, con 13 clúster contiene temas como inclusión, educación especial, educación superior y ética como los de mayor ocurrencia. En el caso de Luna Azul, es de destacar que, aunque se encuentra incluida en la categoría Educación su enfoque es multidisciplinar, no cuenta en este caso con términos destacados en los 9 clúster existentes donde los más comunes son cambio climático, desarrollo sostenible, sostenibilidad. De igual manera sucede con Nómadas que presenta temáticas muy diversas en sus 18 clúster, destacándose los estudios etnográficos, culturales, memoria y patrimonio.

En general, la utilización la técnica de mapeo, posibilitó mostrar los ámbitos en los que trabaja cada revista, sus relaciones e importancia dentro de la investigación que realiza. Los resultados son insumos importantes para la gestión y planeación que efectúan los grupos editoriales, investigadores y la comunidad científica especializada direccionando sus temas hacia los enfoques pertinentes. Otro resultado relevante es la necesidad de revisión de palabras clave o descriptores, uso de tesauros u otros métodos dada la cantidad de palabras ambiguas y sin normalización.

 

Figura 5. Redes de co-ocurrencia de términos de las revistas evaluadas

Fuente: Elaboración propia utilizando VOSViewer.

IV. Discusión

Las revistas científicas son hoy además de principal medio de comunicación de la ciencia e instrumento de difusión, herramienta de evaluación de las comunidades cientificas (Borrego & Urbano, 2006). Su evaluación representa un aspecto clave en el mejoramiento como medios de divulgación y parte necesaria en la búsqueda de la calidad, la visibilidad, el impacto de la investigación y el control de las comunidades, donde la inclusión en bases de datos y sistemas de información, y en especial en los índices de citación, es un objetivo para cumplir por quienes se encargan de su gestión. De otra parte, el aumento del impacto y la posición que ocupan en las fuentes requiere de un riguroso trabajo de parte de los responsables donde la bibliometría y sus métodos ofrece herramientas importantes (Alperin & Rozemblum, 2017).

En este escenario, los índices de citación Scopus y Web of Science (WoS) mantienen el liderazgo para la evaluación de la investigación con un importante número de revistas de la región indexadas. Para Latinoamérica, representan herramientas clave en la obtención de indicadores y evaluación de la actividad científica (Rodríguez, 2010), por lo que la inclusión de revistas en ellos y el análisis de los resultados de investigación resulta un objetivo vital para instituciones y editoriales. Sin embargo, los sesgos de dichas bases y la limitada representación de la producción realizada en las regiones y en las Ciencias Sociales y Humanas, lleva a la necesidad de considerar fuentes regionales y productos alternos que den visibilidad a las revistas y permitan evaluar la investigación que queda por fuera de los mencionados índices.

El análisis por medio de distintas variables e indicadores del conjunto de revistas colombianas de Educación incluidas en el SJR, fuente que evalua revistas indexadas en Scopus, permitió obtener información clave sobre sus dinámicas, adicionalmente aportó métodos de trabajo para otras revistas y grupos editoriales. La metodología utilizada, la cual emplea aspectos bibliométricos y de gestión, puede emplearse en revistas de diversos campos temáticos y usarse para analizar el comportamiento y la toma de decisiones respecto a su mejora, inclusión o permanencia en sistemas de indexación.

Dentro de los resultados a destacar, la periodicidad es reflejo de la profesionalización de las revistas científicas y de quienes se encargan de su gestión (Repiso et al., 2017). En el caso de las analizadas, en mayor medida continúan siendo semestrales, situación que denota la necesidad de mejora de este indicador, unido a la generación de procesos de gestión más rápidos y aumento de la cantidad de investigación divulgada. Al ser mayormente revistas editadas en las universidades y no por sociedades científicas aún cuentan con limitaciones de recursos, esencialmente humanos.

Otro aspecto importante es la antigüedad, lo cual puede tenerse en cuenta en la consolidación e inclusión en distintos índices de prestigio nacional e internacional. En el caso estudiado, la mayoría de ellas con más de 10 años de creación, a excepción de la Revista Colombiana de Educación e Íkala, las demás mantienen periodicidad semestral, lo cual puede ser reflejo de las deficiencias que presentan la mayoría de las revistas regionales y que se relaciona con la limitada profesionalización, además de recursos financieros y humanos para hacer frente a la labor que exigen las revistas.

El aumento del número de contribuciones denota rapidez y calidad en los procesos de gestión y la existencia de una comunidad científica amplia, en cantidad de investigadores, instituciones, programas de postgrado que pueden proveer contenidos a las revistas. En el caso de las consolidadas tienden a publicar más manuscritos con capacidad de dar respuestas rápidas a las distintas fases del proceso (revisión, publicación), lo cual puede ser la razón de la periodicidad semestral de las revistas con menos recursos para afrontar los procesos. En el caso de las estudiadas, y dado que en su mayoría son semestrales, este es un aspecto que debe revisarse a mediano plazo, siempre ajustado a criterios de calidad de los contenidos que les aporte impacto (citas).

En general, a partir del análisis de las contribuciones incluidas en Scopus por las revistas seleccionadas, se observaron bajos valores del indicador SJR, que al ser una medida por medio de la cual las revistas citantes le transfieren prestigio a las citadas, los valores encontrados reflejan que las citas recibidas provienen de revistas posicionadas en la periferia de las distintas categorías.

De igual forma, el bajo promedio de citas por documento en todas las revistas evaluadas es otro resultado importante, sin embargo, las tasas de autocitación exponen valores aceptables. Este es un indicador sobre el que las revistas deben realizar observación, enfocándose en la inclusión de contenidos citables y velar por la distribución de citas en la mayoría de las contribuciones. También, los análisis de la endogamia y la participación de instituciones extranjeras destacan la visibilidad de las revistas al contar con mayor número de trabajos provenientes de instituciones extranjeras y la reducción de la propia institución editora.

Con respecto a las tipologías citables, los artículos y revisiones son las que mayor cantidad de citas aportan, representa un aspecto positivo a mantener para la mejora en las posiciones en los cuartiles por categoría que en la actualidad aún se encuentran en mayor medida en niveles inferiores (Q4). La posición en cuartiles se relaciona con los resultados de Publindex, donde la mayoría de las revistas se encuentra en categoría C, debido a la propia metodología que tiene en cuenta, en mayor medida, los valores SJR y cuartiles. Se destaca la visibilidad de las revistas, la cual se basa en la cantidad de citas recibidas desde el exterior y de su propia área de especialización, justifica la procedencia de citas en mayor medida desde el propio ámbito de la Educación.

Además, se obtuvo información sobre la poca especialización de algunas de las revistas del área, la inclusión en gran cantidad de categorías y otras indexadas en Educación, pero con contenidos no relacionados con el enfoque, tendencia que se recomienda estudiar por parte de los comités editoriales e instituciones responsables de su edición. Con respecto a los mapas de co-ocurrencia, estos mostraron los temas de mayor frecuencia de aparición y la relación entre ellos, resultados que validaron la relación del alcance de cada una con los términos indexados, lo cual es clave para la planeación y gestión de la información a publicar.

Es importante mencionar que las revistas estudiadas presentan prácticas aceptables de visibilidad e impacto reflejadas en la publicación de artículos y revisiones como tipologías de mayor uso, a la vez, de mayores aportes de citas. Se encontró el uso de palabras clave que denotan en algunos casos ambigüedad, aspecto que se determinó en las redes creadas con VOSViewer y que requirió un proceso de limpieza y normalización. El análisis de las citas recibidas denota visibilidad de las revistas y atracción de los contenidos, lo cual mostró que proceden de temáticas alejadas de educación, debido a la multidisciplinariedad de enfoques.

V. Conclusiones

La metodología aplicada y los indicadores obtenidos permitieron conocer tendencias de las revistas colombianas de Educación, tanto desde la perspectiva bibliométrica como de distintas variables de calidad editorial, importantes como insumo para la gestión y mejoramiento de estas. Aunque los indicadores utilizados aportaron información clave para la evaluación de las revistas y el conocimiento de tendencias, es posible realizar estudios individuales que posibiliten advertir puntos fuertes y débiles en cada una y aplicar ejercicios de planeación en el tiempo, a la vez hacer uso de otros indicadores, incluyendo los altmétricos. En general, los resultados muestran aceptables indicadores en la mayoría de las revistas, con la necesidad de enfatizar en el impacto de las contribuciones (citas) y revisar la permanencia de la revista Luna Azul dentro de la categoría Educación en el SJR, dado que sus contenidos no están directamente relacionados con ella, de la misma forma sucede con la revista Nómadas.

Se recomienda que los grupos y coordinaciones editoriales, utilicen la bibliometría, sus métodos e indicadores para la gestión y trabajo con las revistas, junto a la evaluación de distintos comportamientos de gestión, como herramienta de trabajo que les ayude al diagnóstico de elementos relevantes que fortalezcan sus indicadores, la visibilidad y el prestigio dentro de la comunidad científica.

VI. Referencias

Abadal, E. (2018). ¿Cómo han cambiado BiD y las revistas españolas de documentación en los últimos veinte años? BiD: Textos universitaris de biblioteconomia i documentació, (40), 1- 10. https://doi.org/10.1344/BiD2018.40.11

Aguado, E., Rogel, R., Garduño, G., & Zúñiga, M.F. (2008). RedALyC: una alternativa a las asimetrías en la distribución del conocimiento científico. Ciencia, docencia y tecnología, 19 (37), 11-30.

Alperin J. P., & Rozemblum C. (2017). La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista interamericana de bibliotecología, 40 (3), 231-241. https://doi.org/10.17533/udea.rib.v40n3a04

Borrego, Á., & Urbano, C. (2006). La evaluación de revistas científicas en Ciencias Sociales y Humanidades. Información, cultura y sociedad, (14), 11-27. https://doi.org/10.34096/ics.i14.886

Cetto, A. M. (1998). Ciencia y producción científica en América Latina. El proyecto Latindex. International Microbiology, 1 (3), 181-182.

Charum, J. (2004). La construcción de un sistema nacional de indexación, el caso de Publindex. Convergencia. Convergencia. Revista de ciencias sociales, 11 (35), 293-309.

Delgado-López-Cózar, E. (2001). Las revistas españolas de ciencias de la documentación: productos manifiestamente mejorables. El profesional de la información, 10 (12), 46-56. En: http://profesionaldelainformacion.com/contenidos/2001/diciembre/10.pdf

Delgado-López-Cózar, E. (2017). Evaluar revistas científicas: un afán con mucho presente y pasado e incierto futuro. En Abadal, E. (Ed.), Revistas científicas: situación actual y retos de futuro (pp. 73-103). Universitat de Barcelona. España.

Delgado-López-Cózar, E., Ruiz-Pérez, R., & Jiménez-Contreras, E. (2006). La Edición de Revistas Científicas Directrices, Criterios y Modelos de Evaluación. Universidad de Granada, España.

Delgado-López-Cózar, E., Ruiz-Pérez, R., Jiménez-Contreras, E., López-Herrera, A. G., GactoColorado, M. J., Torres-Salinas, D., & Poyatos-Huertas, E. (2005). INRECS: Índice de impacto de las revistas españolas de ciencias sociales. Biblio 3W, Revista bibliográfica de geografía y ciencias sociales, 10 (574). En: http://www.ub.edu/geocrit/b3w-574.htm

Garfield, E. (1955). Citation indexes for science: A New Dimension in Documentation through Association of Ideas. Science, 122 (3159), 108-111. 10.1126/science.122.3159.108

González-Alcaide, G., Gorraiz, J., & Hervás-Oliver, J.L. (2018). On the use of bibliometric indicators for the analysis of emerging topics and their evolution: Spin-offs as a case study. El profesional de la información, 27 (3), 493-510. https://doi.org/10.3145/epi.2018.may.04

Gregorio-Chaviano, O., Repiso, R., Calderón-Rehecho, A., León-Marín, J., & JiménezContreras, E. (2021). Dialnet Métricas como herramienta de evaluación bibliométrica: aportes al análisis de la actividad científica en Ciencias Sociales y Humanidades. El profesional de la información, 30(3). https://doi.org/10.3145/epi.2021.may.18

López-Robles, J.R., Guallar, J., Otegi-Olaso, J.R., & Gamboa-Rosales, N.K (2019). El profesional de la información (EPI): bibliometric and thematic analysis (2006-2017). El profesional de la información, 28 (4), e280417. https://doi.org/10.3145/epi.2019.jul.17

Maltrás, B. (2003). Indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Ediciones Trea. Gijón.

Martínez-Ávila, D. (2019). Qualis Periódicos: el sistema brasileño de evaluación de revistas. Anuario ThinkEPI, 13, e13e01. https://doi.org/10.3145/thinkepi.2019.e13e01

Ministerio de Ciencia, Tecnología e Innovación. (2020). Convocatoria para indexación de revistas científicas colombianas especializadas - Publindex 2020. https://minciencias.gov.co/convocatorias/fortalecimiento-capacidades-para-lageneracion-conocimiento/convocatoria-para

Packer, A.L., Prat, A.M., Luccisano, A., Montanari, F., Santos, S., & Meneghini, R. (2006). El modelo SciELO de publicación científica de calidad en acceso abierto. En: Babini, D., & Fraga, J. (eds.), Edición electrónica, bibliotecas virtuales y portales para las ciencias sociales en América Latina y El Caribe. Buenos Aires, Consejo Latinoamericano de Ciencias Sociales, pp. 191–208. ISBN 9871183534

Peralta, M. J., Frías, M. F., & Gregorio, O. (2015). Criterios, clasificaciones y tendencias de los indicadores bibliométricos en la evaluación de la ciencia. Revista cubana de información en ciencias de la salud (ACIMED), 26 (3), 290-309. http://scielo.sld.cu/pdf/ics/v26n3/rci09315.pdf

Repiso, R., Moreno-Delgado, A., & Aguaded, I. (2021). Factors affecting the frequency of citation of an article. Iberoamerican Journal of Science Measurement and Communication, 1(1). https://doi.org/10.47909/ijsmc.08

Repiso, R., Jiménez-Contreras, E., & Aguaded, I. (2017). Revistas Iberoamericanas de Educación en SciELO Citation Index y Emerging Source Citation Index. Revista española de documentación científica, 40 (4), 1-13. e186 https://doi.org/10.3989/redc.2017.4.1445

Rodríguez, E., Naranjo, S., & González, D. L. (2015). Publindex: más que un proceso de indexación. El Ágora USB, 15(1), 29-41.

Rodríguez, L. (2010). Las revistas iberoamericanas en Web of Science y Scopus: visibilidad internacional e indicadores de calidad. VII Seminario Hispano-Mexicano de Investigación en Bibliotecología y Documentación. México. https://digital.csic.es/bitstream/10261/23811/1/LuisRY7Encuentro.pdf

Rodríguez-Gairín, J.M., Somoza-Fernández, M., & Urbano, C. (2011). MIAR: hacia un entorno colaborativo de editores, autores y evaluadores de revistas. El profesional de la información, 20 (5), 589-595. https://doi.org/10.3145/epi.2011.sep.15

Torres-Salinas, D., Bordons, M., Giménez-Toledo, E., Delgado-López-Cózar, E., JiménezContreras, E., & Sanz-Casado, E. (2010). Clasificación integrada de revistas científicas (CIRC): propuesta de categorización de las revistas en ciencias sociales y humanas. El profesional de la información, 19 (6), 675-683. 10.3145/epi.2010.nov.15

Vasen, F., & Lujano, I. (2017). Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales. Revista mexicana de ciencias políticas y sociales, 62 (231), 199-228.

Van, NJ., & Waltman, L. (2009). How to normalize cooccurrence data? An analysis of some wellknown similarity measures. Journal of the American Society for Information Science and Technology, 60 (8), 1635–1651. https://doi.org/10.1002/asi.21075

Van, NJ., & Waltman, L. (2010). Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics, 84 (2), 523–538.
https://doi.org/10.1007/s11192- 009-0146-3

Waltman, L., Van, N. J., & Noyons, Ed. C. M. (2010). A unified approach to mapping and clustering of bibliometric networks. Journal of Informetrics, 4 (4), 629–635. https://doi.org/10.1016/j.joi.2010.07.002

Notas de las personas autoras

Orlando Gregorio-Chaviano. Profesor.
Departamento de Ciencia de la Información. Facultad de Comunicación y Lenguaje.
Pontificia Universidad Javeriana. Bogotá, Colombia.
Correo electrónico: ogregorio@javeriana.edu.co
ORCID: https://orcid.org/0000-0002-3064-8639

Evony Katherine López-Mesa. Bibliotecóloga.
Biblioteca. Universidad La Gran Colombia. Bogotá, Colombia
Correo electrónico: evony.lopez@ugc.edu.co
ORCID: https://orcid.org/0000-0001-9148-4001

María-Consuelo Zamora. Bibliotecóloga.
Bibliotecóloga. Biblioteca. Pontificia Universidad Javeriana. Bogotá, Colombia
Correo electrónico: mariazamora@javeriana.edu.co
ORCID: https://orcid.org/0000-0003-2176-0706