Revista Ensayos Pedagógicos

Vol. XIII, No. 1 Enero-junio, 2018 (ISSN 1659-0104)

URL: http://www.revistas.una.ac.cr/ensayospedagogicos

Recibido: 10 de noviembre de 2016 Aprobado: 21 de mayo de 2018

http://dx.doi.org/10.15359/rep.13-1.4

De la página 71 a la 106 del documento escrito


Análisis de confiabilidad y validez de un cuestionario sobre entornos personales de aprendizaje (PLE)

Eduardo Chaves-Barboza1

Universidad Nacional

Heredia, Costa Rica

echav@una.cr

Laura Rodríguez-Miranda2

Ministerio de Educación Pública (MEP)

San José, Costa Rica

laura.rodriguez.miranda@mep.go.cr

Resumen

El estudio inicia con la aplicación piloto, a 56 estudiantes de la asignatura Tecnologías Aplicadas a la Educación de la Universidad de Granada - España, de un cuestionario (CPLE1, con 78 ítems tipo escala Likert referidos a los entornos personales de aprendizaje). Esto permitió analizar, mediante el coeficiente alfa de Cronbach, la confiabilidad del instrumento y el efecto que tendría la eliminación de algunos de sus ítems sobre esa confiabilidad. También, se realizó un análisis de la consistencia interna del instrumento mediante el índice de homogeneidad corregido. El estudio continuó con la aplicación de una guía para evaluar la validez de contenido del cuestionario (GV-CPLE1). Los resultados obtenidos con la aplicación de esta guía en diez personas expertas fueron analizados utilizando el índice de congruencia de Osterlind, y mediante procesos de codificación y categorización, lo que permitió que se incorporaran sugerencias y se construyera un segundo cuestionario validado (CPLE2). Este estudio expone cómo se tuvo lugar el acceso al campo, hace una caracterización del estudiantado involucrado en la aplicación piloto y del personal experto participante en el análisis de validez; asimismo se puntualizan los supuestos estadísticos y las metodologías que se aplicaron en los procesos de análisis del cuestionario.

Palabras clave: Investigación educativa, metodología de investigación, entornos personales de aprendizaje, validación de cuestionario.

Abstract

The study began with a pilot application a questionnaire (CPLE1, 78 items Likert related to personal learning environments) to 56 students of the course Technology Applied to Education of the University of Granada (Spain). This application allowed analyzing the reliability of the instrument and the effect of the elimination of some items on its reliability, by Cronbach alpha coefficient. An analysis of the internal consistency of the instrument by Corrected Homogeneity Index was also carried out. The study continued with the application of a guide to assess the content validity of the questionnaire (GV-CPLE1). The results obtained with the implementation of this guide with ten experts were analysed using the Osterlind Congruity Index and through coding and categorization processes, which allowed suggestions that were incorporated, and a second validated questionnaire (CPLE2) was designed. This study shows how the access to the field has been accomplished; it makes a characterization of the students involved in the pilot study and of the expert participants in the validity analysis. Also, the statistical assumptions and the methodologies that were applied in the analysis are explained.

Keywords: Educational research, research methodology, personal learning environments, validation of questionnaires

1.Los instrumentos utilizados para el análisis

En esta sección se describen los dos instrumentos utilizados en el presente trabajo de análisis de confiabilidad y validez. Primeramente el cuestionario CPLE1, que tuvo su aplicación piloto con estudiantes de la asignatura Tecnologías Aplicadas a la Educación de la Universidad de Granada, y la guía para validación de contenido GV-CPLE1, que fue contestada por el personal experto para valorar el cuestionario.

1.1 Descripción del cuestionario piloto aplicado a estudiantes y los conceptos principales que comprende

El cuestionario CPLE13 consta de 78 ítems tipo escala de Likert, más algunos ítems referidos a información general. Los ítems Likert se puntuaron mediante números enteros del 1 al 5, que reflejaban el nivel que el estudiantado tenía “de acuerdo” o “de desacuerdo” (Andrich y Schoubroeck, 1989; Likert, 1932).

Tabla 1

Objetivos, categorías de investigación y sus correspondientes ítems en CPLE1

Nota: Elaboración propia.

Los objetivos para los que fue construido el instrumento se presentan en la tabla 1. Para cada uno de estos objetivos se planteó una colección de ítems, y todos los conjuntos de ítems constituyen el instrumento. A cada objetivo y grupo de ítems le corresponde una categoría, y las categorías son unidades de análisis. En la tabla 1 se relaciona cada objetivo con su categoría y con su conjunto de ítems.

Cabe aclarar que la idea de PLE es que sea un constructo teórico elaborado por una comunidad de profesionales de la educación, tecnología e investigación social, con el objetivo de interpretar el impacto de las tecnologías virtuales sobre el aprendizaje de las personas. En este sentido el PLE es “el conjunto de herramientas tecnológicas elegidas, integradas y utilizadas por un individuo para acceder a nuevas fuentes de conocimiento y de esta forma aprender” (Chaves-Barboza, 2017, p. 137).

Por su parte, desde la teoría socio cognitiva, la autogestión del aprendizaje se concibe como un proceso donde se realizan acciones de previsión (como el establecimiento de objetivos y metas de aprendizaje), de actuación (como el buscar y organizar contenidos, comunicarse con otras personas y realizar ejercicios) y de reflexión (como evaluar sus acciones de aprendizajes y realizar metacognición) (Chaves, Trujillo y López, 2015); acciones que se efectúan en el marco de un PLE (Chaves, Trujillo y López, 2016; Johnson y Sherlock, 2014).

1.2 Descripción de la guía para validación de contenido: GV-CPLE1

Para valorar la validez de contenido por juicio de personas expertas, se construyó el instrumento denominado GV-CPLE14 que permitió valorar cada ítem, para ver si este es congruente con la categoría a la que se refiere en el cuestionario. Para esto, se ofreció una escala de tres niveles de congruencia (-1 si es bajo, 0 si es medio y 1 si es alto) que luego fue analizada calculándole el índice de congruencia de Osterlind.

Además, siguiendo las recomendaciones de Barrazas (2007), la guía ofreció, para cada ítem, un espacio en blanco para que el personal experto brindara sus opiniones, observaciones y recomendaciones de mejora en redacción, claridad, pertinencia y calidad. Finalmente, la guía le solicitó al grupo experto su valoración textual global del cuestionario sobre si los ítems que lo componen recogen una muestra representativa de los universos temáticos a los que se refiere (Salkind, 1999), y sus recomendaciones al respecto.

2.Trabajo de campo

En esta sección se describe la aplicación piloto de CPLE1, se caracteriza al estudiantado que participó en esta aplicación, se muestra cómo se realizó la validación de contenido del cuestionario y se señalan las características del grupo experto participante en este proceso.

2.1 La aplicación piloto y el acceso al grupo de estudiantes participantes

La aplicación piloto del cuestionario se realiza a un grupo de 57 estudiantes de la Universidad de Granada (UGR) de la materia Tecnologías Aplicadas a la Educación; en esta asignatura se estudió el PLE como uno de los temas y cada estudiante diseñó un esquema que mostró los elementos que conformaban su PLE y la relaciones entre estos elementos. Ello permitió su evaluación, además, se propició que le dieran uso a las herramientas de su entorno personal durante las actividades propias de la asignatura.

La asignatura aludida corresponde al área troncal de 3.º de la Titulación de Maestro de todas las especialidades y de Educación Social. Estas características concuerdan con la que tiene la población de interés para el presente estudio: estudiantes en formación inicial de profesorado de la UGR y que, por lo menos, hayan esquematizado y evaluado sus propios PLE. Todo el estudiantado presente dio su conformidad a participar, aunque uno entregó su cuestionario en blanco, por lo que resultaron un total de 56 instrumentos cumplimentados.

2.2 Caracterización del grupo de estudiantes participantes

La edad promedio del grupo de estudiantes es de 22,65 años y muestra un rango estadístico de 20, el cual luce elevado, si se contrasta con la desviación típica relativamente baja de 3,8. La razón: dos estudiantes con edades extremas, una con 19 años y otra con 39 años.

Los sujetos involucrados dedicaron, en promedio, 21,83 horas semanales al uso del ordenador durante el curso; asimismo, dedicaron 17,79 horas a la navegación en internet, 17,07 horas al uso de herramientas de su PLE, y 6,58 horas al uso de las herramientas del entorno aulaweb. Es notable la coincidencia entre la cantidad de tiempo dedicada a navegar en internet y la dedicada al uso de herramientas del PLE. Cabe mencionar, también, que una parte del estudiantado presentó datos extremos, tal es el caso de estudiantes código 15 y código 43, que navegan tres horas semanales, código 11 que navega dos horas semanales, y código 48 que navega solamente una hora semanal.

Figura 1

Distribución porcentual de población de estudiantes según nivel de formación de los padres y madres

Nota: Elaboración propia.

Entre otras características de la muestra, cabe decir que solamente había tres varones, es decir, el 94,5% eran mujeres. Un 40% de estudiantes estaba repitiendo la asignatura, el 63,6% tenía ordenador de sobremesa y el 87,3% portátil (100% tenía uno u otro), el 25,5% tenía un smartphone. Solamente un 10,9% reportó tener un netbook, tres estudiantes manifestaron tener algún tablet y tres manifestaron tener otro tipo de dispositivo (entre ellos se observaron dos iPods y un lector de libros electrónicos). Como caso extremo, estudiante código 50 reportó tener todos los tipos de dispositivos.Por su parte, la figura 1 muestra la distribución porcentual del nivel de formación académica de los padres ymadres. Es resaltable que los datos se aglutinan en los extremos, veintitrés estudiantes (42%) tienen padres y madres con formación universitaria y dieciséis (29%) tienen padres con formación general básica completa o incompleta.

2.3 La validación de contenido y el acceso al grupo experto

Por su parte, el proceso de validación de contenido del cuestionario, por juicio de personas expertas (Gregory, 2001; Salkind, 1999), permitió la construcción del cuestionario CPLE25. En este proceso participaron un total de diez personas expertas.

Para iniciar la validación se seleccionaron trece, de acuerdo con las temáticas del cuestionario (Millman y Greene, 1989), su caracterización se presenta en la sección siguiente. A estos trece sujetos se le envió una invitación de participar por email, en el mes de abril, y solamente cinco decidieron participar directamente. Quienes participaron respondieron el email con la guía resuelta, y las respuestas llegaron al equipo investigador durante el mes de mayo, lo que permitió su análisis durante el mes de junio.

Uno de los expertos que no aceptó a participar en la invitación inicial, sugirió que se recurriera al Panel Internacional de Investigación en Tecnología Educativa6 (PI2TE), lo cual se hizo en el mes de mayo con excelentes resultados, pues a través de este medio se obtuvo respuesta de cinco profesionales, tres semanas después de la solicitud. El panel utilizó el instrumento para valorar la validez que propuso el equipo investigador, con la salvedad que entregó una única guía cumplimentada, que integraba las respuestas anónimas de las cinco personas expertas.

2.4 Caracterización del grupo experto participante en la validación del cuestionario

Entre el grupo experto, que respondió la guía para validación mediante correo electrónico, está la coordinadora de Innovación del Vicerrectorado de Estudios de la Universidad de Murcia. También, se contó con la participación de dos docentes de tecnología educativa y personal formador de docentes del Departamento de Didáctica y Organización Escolar de la Universidad de Sevilla, uno con artículos sobre el tema PLE en la formación de docentes, y el otro ha escrito artículos sobre el uso de las TIC en las universidades andaluzas, trabajos de ambos académicos han sido utilizados para la construcción del marco teórico de este trabajo.

También, participaron una profesora dedicada a la formación de docentes con tecnología educativa de la Facultad de Educación de la Universidad de Coimbra y un organizador de las Conferencias PLE en Barcelona (2010) y Southampton (2011), investigador de los PLE basados en la Web 2.0.

Además, participaron cinco miembros del Panel Internacional de Investigación en Tecnología Educativa (PI2TE), el cual está conformado por dieciséis sujetos expertos en tecnología educativa de España e Iberoamérica, presidido por Manuel Cebrián de la Serna de la Universidad de Málaga y por Jesús Salinas de la Universidad Islas Baleares, en su totalidad con nombramiento por la Junta Directiva de EDUTEC7.

Para efectos de este trabajo, a cada experto o experta que respondió a la guía mediante correo electrónico se le asignó una clave, estas claves son: RTK, JAM MPE, MTP y MLC8. En el caso de cinco miembros del Panel Internacional de Investigación en Tecnología Educativa, dado que participaron de forma anónima con una única respuesta integrada, se les tratará como un conjunto denominado con las propias iniciales del panel: PI2TE.

3.Metodologías para los análisis

En esta sección se describen los supuestos estadísticos y las metodologías utilizadas para realizar los análisis al instrumento y los análisis cualitativos de las respuestas textuales del juicio experto que justificó las correspondientes modificaciones a CPLE1 para construir CPLE2.

3.1 Los supuestos estadísticos generales

Todos los análisis estadísticos realizados sobre la información derivada de la aplicación piloto del cuestionario, partieron del supuesto general de que las variables son ordinales (Larsen y Marx, 2012; Padua, 1987; Wackerly, Mendenhall III y Scheaffer, 2010), están organizadas en el mismo sentido (no hay ítems invertidos) y se encuentran agrupadas por categorías. Además, se asumió que cada una de estas categorías representa una única dimensión subyacente que sus ítems pretenden medir.

Para el análisis estadístico de la confiabilidad del cuestionario se supuso que la escala es sumativa para un determinado sujeto y dentro de una misma categoría, pero no lo es para los puntajes de dos sujetos diferentes, aunque fueran de la misma variable.

En cuanto al análisis de la validez interna, se consideró que las variables son escalares y se supuso que tiene sentido estadístico el sumar las puntuaciones que diferentes sujetos tuvieron ante una misma variable.

Por su parte, los datos que se obtuvieron de la aplicación de la guía para validación, se analizaron considerando la variable “nivel congruencia” como una variable independiente de razón con valores reales entre [-1,1] y se aplicó estadística paramétrica para obtener el índice de congruencia de Osterlind con valores reales entre [-1,25 ; 1,25].

Con estos supuestos estadísticos se realizaron los siguientes estudios: un primer análisis de la confiabilidad de CPLE1, mediante el coeficiente alfa de Cronbach; un análisis de la consistencia interna de CPLE1, mediante el índice de homogeneidad corregido y un definitivo análisis de la validez de contenido mediante el juicio experto (Aron, Coups y Aron, 2013; Howell, 2014).

Se realizaron también análisis cualitativos de codificación y categorización de las respuestas textuales del grupo experto, para fundamentar las modificaciones que se hicieron a CPLE1 para construir CPLE2.

3.2 Metodología para analizar la confiabilidad de CPLE1

Partiendo de lo anterior, para analizar la confiabilidad de CPLE1, se realizó un cálculo preliminar del coeficiente alfa de Cronbach (Cronbach, 1951; Gravetter y Wallnau, 2013) para los 78 ítems. Posteriormente, para profundizar el análisis, se agruparon los 78 reactivos según las colecciones mostradas en la tabla 1.

A partir de aquí se efectuó un análisis para cada subconjunto de ítems, calculando el coeficientes alfa de Cronbach parcial (αCp) para cada uno de estos subconjuntos y, posteriormente, un coeficiente ponderado (Streiner, 2003; Walpole, Myers, Myers y Ye, 2012). Este caso, se ponderó el alfa de cada categoría según el número de ítems, para obtener de esta manera un alfa de Cronbach interpretable para todo el instrumento.

Aunque los subconjuntos de ítems fueron organizados por campos de contenidos, no se aplicó un alfa de Cronbach estratificado (Cronbach, Schoneman y Mckie, 1965; Gravetter y Wallnau, 2013; Mendenhall III, Beaver y Beaver, 2013), debido a los supuestos estadísticos sobre las variables que se tienen en este estudio. En efecto, como correspondía a los supuestos estadísticos, muy particularmente el suponer las variables escalares, se utilizó el cálculo de alfa de Cronbach estandarizado. Para la valoración de los coeficientes alfa que se obtuvieron en el presente estudio se aplicó el criterio de George y Mallery (1995), que se adapta y resume en la tabla 2.

Para los conjuntos de ítems que pareciera necesario aumentar la confiabilidad, se utilizó el software estadístico SPSS versión 15ª y Excel para determinar cómo se comportaba el coeficiente alpha de Cronbach, si se eliminaba alguno de sus ítems, es decir, se estudió el impacto que tendría sobre la fiabilidad si uno u otro ítem se eliminara.

Tabla 2

Valoración de la fiabilidad de ítems según el coeficiente alfa de Cronbach

Nota: Elaboración propia

Posteriormente, para hacer un acercamiento al análisis de la consistencia interna del instrumento, se aceptaron los siguientes dos supuestos estadísticos: se consideró que las variables son escalares y se supuso que tiene sentido el sumar las puntuaciones que diferentes sujetos tuvieron ante una misma variable.

Con estas dos premisas más débiles, se utilizó el SPSS versión 15ª para determinar el índice de homogeneidad corregido, es decir el iHC (Likert, 1932; Peters y Van Vorhis, 1940; Witte y Witte, 2010); con el objetivo de identificar aquellos ítems indiferenciadores (con un iHC menor a 0,2) que, por tener una baja correlación con el resto de ítems de su categoría, no miden lo que deberían medir y, por lo tanto, tienen efectos negativos sobre la consistencia interna9 de CPLE1 (Howell, 2014; Likert, 1932; McIver y Carmines, 1981).

3.3 Metodología para analizar estadísticamente la validación de contenido de CPLE1

Como se señaló anteriormente, la escala de tres niveles de congruencia (-1 si es bajo, 0 si es medio y 1 si es alto), utilizada en la guía para validación de contenido, fue analizada calculando el índice de congruencia de Osterlind (icO).

Si denotamos como Iik el índice de congruencia de Osterlind (icO) del i-ésimo ítem del k-ésimo dominio (son K dominios en total), se calculará Iik mediante la suma de las valoraciones de cada j-ésimo participante (son J en total) en la siguiente fórmula estadística:

(Osterlind, 1989, p.270).

Se programó dicha fórmula en una hoja electrónica del paquete ofimático Libre Office, para calcularlo para cada ítem. El índice de congruencia de Osterlind arroja medidas reales dentro del intervalo [-1,25 ; 1,25], y se consideró aceptable el índice de un ítem cuando su valor fue mayor a 0,5 (Chacón, Pérez, Holgado y Lara, 2011).

Como CPLE1 consta de siete dimensiones, en la fórmula del índice K = 7; por otra parte, las respuestas de las diez personas expertas fueron consideradas en el cálculo del índice, es decir, en la anterior fórmula J = 10. Es necesario aclarar que el panel envió una respuesta unificada con sus valoraciones, por lo tanto, en el cálculo del índice, la respuesta del panel fue ponderada por cinco.

3.4 Metodología para analizar cualitativamente las recomendaciones y observaciones del grupo experto para CPLE1

Los textos con las opiniones, observaciones y recomendaciones del grupo experto se analizaron cualitativamente por medio de procesos de codificación y de categorización. La codificación se realizó mediante la selección de la información relevante y su reorganización (Strauss y Corbin, 1990) por ítems y por elementos generales del cuestionario; se aclara que se consideraron especialmente relevante las observaciones y recomendaciones realizadas a los ítems rechazados y las relativas al cuestionario en general.

Para la organización de la información se utilizó como herramientas de apoyo el software NVivo versión 8, en dicho software se comenzó a trabajar en un proyecto nuevo denominado “Análisis de validación de contenido”. En dicho proyecto NVivo se incorporaron las guías resueltas en calidad de recursos internos, para realizar la codificación de la información en forma de “nodos”. Se aclara que los nodos son unidades de análisis dentro del software, el cual permite establecer relaciones entre los nodos creados.

Posteriormente, la categorización se realizó mediante la síntesis, la contrastación y la comparación de la información codificada en nodos, dentro conceptos más genéricos, es decir, categorías (Flick, 2004), que en este caso consistieron en recomendaciones para modificar los ítems o para mejorar elementos específicos del cuestionario.

4.Análisis del estudio exploratorio

4.1 Análisis de la confiabilidad de CPLE1 mediante el coeficiente Alfa de Cronbach

Respetando las premisas estadísticas señaladas anteriormente, el análisis de CPLE1 se inició con el cálculo de un índice que se utiliza para valorar la confiabilidad: el coeficiente alfa de Cronbach estandarizado. A partir del cálculo de este índice se plantea la tabla 3.

Tabla 3

Valoración de coeficientes alfa de Cronbach estandarizados

Nota: Elaboración propia.

El cálculo preliminar de un coeficiente alfa de Cronbach estandarizado, para todos los ítems, se observa bastante elevado. No obstante, este resultado, como índice de fiabilidad del instrumento en su totalidad, debe mirarse con cuidado; primeramente, porque la cantidad de ítems que incluye puede contrarrestar bajas correlaciones entre los ítems y, por lo tanto, llevar a una sobrevaloración de la fiabilidad. También, porque el cálculo de este coeficiente incluyó la totalidad de las 3003 correlaciones bivariadas, de las cuales 2500 son correlaciones entre variables de diferente categoría, y el posible sentido estadístico que tengan estas correlaciones están fuera de las premisas y de los objetivos del presente trabajo.

Por otra parte, los coeficientes alfa de Cronbach estandarizados, para cada categoría, señalan claramente la fiabilidad de su conjunto de ítems para medir la dimensión subyacente de dicha categoría.

Como se observa en la tabla 3, todas las colecciones de reactivos fueron bien valoradas, excepto los ítems de la tercera categoría, a los que les corresponde un coeficiente alfa de Cronbach de aproximadamente 0,69, lo que indica una débil fiabilidad.

También, se calculó, como una alternativa para una valoración general de la fiabilidad de todo el instrumento, el promedio ponderado de los coeficientes alfa de Cronbach parciales, el cual alcanzó un valor aproximado de 0,815.

Tabla 4

Tercera categoría: Impacto de eliminar un ítem sobre el coeficiente alfa de Cronbach

Nota: Elaboración propia.

Esta medida puede considerarse más adecuada a los objetivos y a las premisas iniciales del presente trabajo, e indica una alta confiabilidad del instrumento, en general, para medir las siete dimensiones subyacentes que contempla. Consecuentemente, para los ítems de la tercera categoría, se consideró necesario analizar el impacto de cada ítem sobre la fiabilidad de ese conjunto. La tabla 4 resume los resultados.

Tabla 5

Ítems con mayor abstención en las respuestas

Nota: Elaboración propia.

Como se aprecia la tabla 5, la eventual eliminación de la pregunta 36 tiene un impacto positivo sobre la fiabilidad del conjunto de dicha categoría; en efecto, el coeficiente alfa de Cronbach se eleva hasta aproximadamente 0,74, y llega a ser aceptable. La eliminación de cualquiera de los otros ítems disminuiría la fiabilidad del conjunto.

El ítem 36 requiere un análisis más profundo, porque además de lo dicho, fue uno de los ítems en los que se observó mayor abstención para ser contestado. La tabla 5 muestra los ítems con más incidencias de este tipo. Los once ítems restantes que mostraron alguna abstención en su respuesta lo hacen por una sola vez.

También, cabe señalar que los únicos cuatro estudiantes que se abstuvieron de contestar más de una pregunta están presentes en la tabla 5, y que el 45,83% de las abstenciones observadas se deben a ello. Cuatro estudiantes fueron las únicas personas que no contestaron las dos preguntas con más abstención.

4.2 Análisis de la consistencia interna de CPLE1 mediante el índice de homogeneidad corregido

Posteriormente, se verificó la consistencia interna de CPLE1; para esto se utilizó el índice de homogeneidad corregido (iHC), que es un indicador de la correlación que tiene un ítem respecto a los otros ítems que componen su categoría y, por lo tanto, es una medida de la capacidad de diferenciación de dicho ítem.

Luego de realizar las correspondientes modificaciones en las premisas estadísticas, como se explicó en el marco metodológico, se cálculo del iHC para cada uno de los ítems del cuestionario. Los primeros ítems en analizarse fueron 22, 36, 37 y 45; que son los ítems de la tabla 5. Los resultados de estos cálculos se presentan en la tabla 6.

Como puede observarse, el ítem 22 está exactamente en el límite mínimo del intervalo de aceptación para el iHC, esto demuestra una baja correlación con el resto de ítems de su categoría, lo que lleva a cuestionar su capacidad de diferenciación. Además, el ítem 36 se encuentra relativamente cerca de dicho límite.

Tabla 6

Índice de homogeneidad corregida de los cuatro ítems con mayor abstención en las respuestas, según categoría

Nota: Elaboración propia.

Por las razones expuestas hasta el momento, los ítems 22 y 36 son candidatos para ser eliminados del cuestionario o para ser sometidos a modificaciones. Sin embargo, como se verá más adelante, el estudio de la validez de contenido por juicio experto ofreció más criterio para tomar decisiones sobre estos dos ítems. Es notable que los ítems de la tabla 6 no son aquellos que obtuvieron los iHC más bajos. La tabla 7 muestra aquellos ítems con valores por debajo del 0,2, es decir, ítems indiferenciadores.

El bajo valor de iHC que tiene cada uno de estos ítems, principalmente el ítem 19, indica que el ítem no mide lo que mide el conjunto de ítems de su categoría, lo cual afecta la consistencia interna de CPLE1. Si la capacidad de diferenciación de estos ítems es cuestionable se debe considerar su eliminación del cuestionario o el hacerle modificaciones. Como se verá más adelante, el estudio de la validez de contenido por juicio experto ofreció más criterio para tomar decisiones sobre estos ítems.

Tabla 7

Lista de ítems indiferenciadores y su iHC

Nota: Elaboración propia.

4.3 Análisis de la validación de contenido de CPLE1 y su relación con otros indicadores

Siguiendo el procedimiento descrito, se realizó el cálculo del índice de congruencia Osterlind (icO) para todos y cada uno de los ítems, incorporando el juicio de las diez personas expertas. A partir de los resultados se construyó la figura 2.

La figura 2 muestra que hay únicamente ocho ítem cuyo icO es menor a 0,5 y por lo tanto son rechazados por criterio experto, porque no son congruentes con la dimensión a la cual pertenecen en el cuestionario. Estos ítems son 2, 7, 12, 13, 14, 17, 19 y 65, de los cuales el 7 es el que alcanza el valor más bajo en el índice de congruencia, con un valor de 0,117.

Los demás ítems tienen valores superiores y, por lo tanto, están aprobados por el grupo experto, incluyendo el 10 y el 33 que tienen valores muy cercanos a límite inferior aceptable. También, cabe señalar que ningún ítem obtuvo valores negativos del índice de congruencia, a pesar de que este puede arrojar medidas reales dentro del intervalo [-1,25;1,25].

Por otra parte, los ítems 18, 37, 40, 69, 70, 71 y 72, alcanzaron un valor de 1,167, y son los que muestran los valores más altos del icO, es decir, el grupo experto los consideró como ítems con un alto grado de validez de contenido.

Figura 2

Dispersión con los valores del índice de congruencia de Osterlind

Fuente: Elaboración propia.

Una visión más integral es mostrada en la tabla 8, que compara, para ítems específicos, resultados del índice de congruencia de Osterlind (icO), resultados obtenidos con el índice de homogeneidad corregido (iHC), el efecto positivo o negativo de eliminar el ítem en el coeficiente alfa de Cronbach de su categoría (αCp), y el número de abstenciones.

La tabla 8 incluye solamente algunos ítems de CPLE1: los ítems que fueron rechazados por el personal experto por tener una baja validez de contenido (es decir, un icO menor a 0,5), los ítems que no miden lo que mide el conjunto de ítems de su categoría (es decir, los indiferenciadores, los que tienen un iHC menor a 0,3), algunos ítems que si son eliminados aumentarán el nivel de confiabilidad del instrumento (es decir, el eliminarlos aumentará el αCp) y los ítems con mayores niveles de abstención en la respuesta de estudiantes, que en este caso son aquellos con cuatro abstenciones.

Los ítems que no aparecen en la tabla 8 son aquellos que han superado las pruebas realizadas de validez, consistencia interna y confiabilidad, y, por lo tanto, son ítems que permanecerán intactos en CPLE1. En cambio, cada uno los ítems incluidos en la tabla 8, fueron sometidos al análisis que se muestra en esta sección para decidir su aceptación, su rechazo o su modificación en el cuestionario.

Por ejemplo, el ítem 37 tiene un elevado icO, un aceptable iHC, su eliminación reduce sensiblemente la confiabilidad del instrumento (reduce el αCp), y tiene asociadas cuatro abstinencias. No obstante, esto último no es una razón que por sí sola tenga el peso suficiente para que el ítem requiera alguna transformación y mucho menos justifica su eliminación; aunque es recomendable que el ítem sea observado en futuras aplicaciones para identificar la abstinencia que reporta.

En cuanto al ítem 45, aunque su eliminación aumente la confiabilidad de CPLE1, no lo hace de forma muy significativa (el αCp aumenta pero en menos de 0,0023), y la quinta categoría no necesita de este aumento porque tiene un coeficiente alfa de Cronbach bueno (más de 0,8); por su parte, la abstinencia que se observó en este ítem no es muy importante. Además, el ítem 45 tiene aceptables el icO y el iHC, esto indica que el ítem da un aporte positivo a la validez del instrumento y a su consistencia interna.

Por estas razones, los ítems 37 y 45, junto a los sesenta ítems de CPLE1 que no se incluyen en la tabla 8, serán conservados en el cuestionario sin modificaciones para las futuras aplicaciones.

Tabla 8

Comparación entre icO, iHC, efecto de eliminar el ítem en el αCp y las abstenciones

Nota: Elaboración propia.

A diferencia de los otros ítems que se muestran en la tabla 8, por su efecto en el αCp, por su bajo iHC o por su bajo icO, deberán ser modificados o eliminados definitivamente del cuestionario.

Por ejemplo, los ítems 2, 7, 12, 13, 14, 17, 19 y 65 serán eliminados definitivamente del cuestionario, su bajo icO (menor que 0,5) indican que son ítems rechazados en la validación de contenido por juicio experto, por ser incongruentes con la categoría a la que se supone se refieren. Aunque esta es una razón suficiente para su eliminación, en el caso de los ítems 2 y 19, además tienen un bajo iHC (menor que 0,2), lo que indica un bajo nivel de correlación con el resto de ítems que componen la categoría a la que pertenecen, indicio de que afectan negativamente la consistencia interna del instrumento.

También el ítem número 36 será eliminado definitivamente del cuestionario, su eliminación es necesaria para que el conjunto de ítems de la tercera categoría tenga una confiabilidad aceptable, como se mostró en la tabla 4.

Tabla 9

Síntesis de decisiones tomadas para los ítems analizados para la construcción de CPLE2

Nota: Elaboración propia.

Por su parte, los ítems 1, 3, 11, 20, 22, 24, 35 son ítems que han mostrado tener un bajo iHC y, por lo tanto, son indiferenciadores. Además, la eliminación de los ítems 1, 3 y 11 aumentaría la confiabilidad del conjunto de ítems de la primera categoría. Sin embargo, todos estos han tenido una buena valoración por el grupo experto. Por lo tanto, para este subconjunto de ítems se ha decidido realizarles modificaciones para futuras aplicaciones del cuestionario, siguiendo las recomendaciones recibidas.

En la tabla 9 se sintetizan las decisiones que se han tomado sobre los ítems de la tabla 8 para la construcción de CPLE2 que es el instrumento derivado de estos análisis de CPLE1. La tabla 9 evidencia que de los ítems analizados en esta sección, solamente los ítems 37 y 45 se incluirán sin modificaciones en el cuestionario.

En la siguiente sección se analizarán cualitativamente las recomendaciones que el grupo experto hizo para el cuestionario en general y para los ítems que según la tabla 9 deben modificarse, y más aún, se explicarán las modificaciones realizadas para construir CPLE2.

4.4 Análisis de las recomendaciones del grupo experto para la construcción de CPLE2

Se analizaron cualitativamente las recomendaciones que el equipo experto hizo para CPLE1 en general y para los ítems que, según el análisis presentado en la sección anterior, deben modificarse; es decir, los ítems 1, 3, 11, 20, 22, 24 y 35.

Los cuatro primeros pertenecen a la primera categoría y los tres últimos a la segunda categoría, es decir, se modificaron solamente siete ítems pertenecientes a dos dimensiones distintas. Estas modificaciones sobre CPLE1 se muestran en esta misma sección para, finalmente, dar como resultado el cuestionario válido CPLE2.

Para facilitar el análisis, cada persona experta se denomina mediante sus claves RTK, JAM, MPE, MTP y MLC, y el Panel Internacional de Investigación en Tecnología Educativa se identifica con sus propias iniciales PI2TE.

4.4.1 Análisis de las recomendaciones generales para el cuestionario

En esta sección se exponen recomendaciones generales que el grupo experto ha realizado para CPLE1 y se analizan las razones para aceptarlas o rechazarlas. Por ejemplo, el PI2TE y MPE recomiendan cambiar la preposición “a” por “para” en el título del cuestionario. Esta recomendación es acertada, la proposición “para” es la adecuada en este caso. Además, dado que la población a la que va dirigida el cuestionario ya conoce sobre PLE, se hace viable el aceptar también la recomendación que hace el PI2TE sobre el título, esta indica “El título es muy largo... quizás colocarle un acrónimo facilite la citación”; de manera que el título quedaría así: CUESTIONARIO PARA ESTUDIANTES SOBRE PLE.

Por su parte, PI2TE recomienda cambiar ligeramente la introducción del cuestionario de modo que en la parte que dice “Con este cuestionario se quiere conocer más sobre tu Entorno Personal de Aprendizaje (PLE)” se cambie “quiere” por “pretende”. Esto también se hizo, porque el verbo “pretende” es más fiel a la intención del cuestionario. PI2TE sugiere explicar brevemente al estudiantado lo que es un PLE. En este sentido, aunque la población de estudiantes a la que va dirigido este cuestionario es conocedora del tema PLE (preferentemente en un curso de formación inicial), se ha decidido no correr riesgos, y se puso en la introducción el siguiente acercamiento conceptual:

[Un PLE es] un entorno constituido por diferentes herramientas de comunicación [negritas añadidas] que permiten crear una escenografía comunicativa y formativa personal de un sujeto, a partir de la cual él podrá, en función de sus intereses y necesidades, potenciar tanto un aprendizaje formal como informal, descentralizado de los principios rígidos que moviliza una institución formativa, abierto con el entorno y las personas, y controlado por el individuo. Esto último, en el sentido de potenciar un aprendizaje auto-organizado por parte del individuo; es decir, del aprendizaje que se encuentra a medio camino entre el aprendizaje formal e informal y en el cual la persona toma acción sobre su propio aprendizaje y pretende garantizarse el éxito de la acción formativa. (Cabero, Barroso y Llorente, 2010, p. 29)

Más aún, también se indicó, en la introducción del cuestionario, que para efectos de este instrumento se concibe la autogestión del aprendizaje como el conjunto de acciones mediante las cuales el individuo diagnostica sus necesidades de aprendizaje, identifica los recursos humanos y materiales para el aprendizaje, elige y aplica estrategias adecuadas de aprendizaje, y evalúa los resultados del aprendizaje (Schaffert y Hilzensaue, 2008).

En cuanto a los datos generales, MPE considera que preguntar el sexo de cada estudiante mediante las categorías “chico” y “chica” es “demasiado coloquial”; por el contrario, el PI2TE considera que esta forma “resulta más amigable que la expresión sexo”. En este caso se opta por dejar las categorías de este ítem como están, pues están claras y fueron elegidas para que fueran más cercanas al estudiantado.

Por su parte, RTK cuestiona la relevancia de la pregunta general “¿Has repetido alguna materia este curso?” y MPE considera que su enunciado resulta ambiguo. En este sentido se ha decidido darle más claridad y relevancia a la pregunta siguiendo la recomendación de MTP, enfocándola hacia la materia de tecnologías en la que han visto el tema PLE. De esta forma la pregunta quedaría con la siguiente forme “¿Has repetido alguna vez la materia Tecnologías Aplicadas a la Educación?”; se aclara que el nombre de la materia puede cambiar a otro, lo importante es que aquí se pregunte por la materia donde el estudiantado ha estudiado el tema PLE. Esta pregunta ayudaría a caracterizar la población estudiantil con la que se está trabajando.

Para la pregunta general “Durante el tiempo lectivo de este curso, ¿cuántas horas semanales dedicaste, aproximadamente, a...”, donde se ofrecen como opciones “usar el ordenador”, “navegar por internet”, “visitar AulaWeb” y “utilizar herramientas de tu PLE”; PI2TE sugiere quitar la pregunta, y poner a una tabla con adverbios del tipo mucho, bastante, poco o nada. No obstante, como esos adverbios son subjetivos e imposibles de analizar paramétricamente se ha decidido dejar que la pregunta solicite horas aproximadas.

Sobre esta pregunta general, PI2TE ofrece otros elementos para reflexionar, y cuestiona: “¿Usar el ordenador, para diversión? Si es por trabajo, ¿lo uno al PLE?” y agrega “Está un poco confuso”. Esto puede relacionarse con lo señalado por RTK, quien cuestiona “¿Usar el ordenador/navegar por internet, para estudiar, o en general?”. Partiendo de estas cuestiones, se concluye que la pregunta requiere más claridad, y para lograr eso se ha decidido colocar en las opciones “usar el ordenador” y “navegar por internet” textos aclaratorios, entre paréntesis, que digan “considere el uso del ordenador en general” y “incluya la navegación para todos los propósitos”, respectivamente.

Se considera que estos textos aclaratorios son suficientes para la pregunta, porque las opciones no pretenden ser ni exhaustivas ni mutuamente excluyentes, es decir, respondiendo al cuestionamiento de PI2TE, si un estudiante usa el ordenador para trabajar una hora, esa hora debe contabilizarla en la opción “usar el ordenador” y también en “utilizar herramientas de mi PLE”.

Respecto a la pregunta: “¿Cuál es el nivel máximo de formación de tus padres?”. Tanto MTP como PI2TE cuestionaron que sea importante o significativa. Esto llevó al investigador a reconocer que la variable “nivel de formación de padres” no tiene un impacto directo en los objetivos del trabajo, ni ha dado lugar a ninguna idea para relacionar de forma importante y significativa dicha variable con algún elemento del tema PLE. Se concluye que dicha variable no ha resultado relevante para la investigación y, por lo tanto, se elimina la pregunta del cuestionario.

Partiendo de las características de la población de estudiantes y de las posibilidades que tiene la investigación, se ha decidido aceptar las sugerencias de JAM, MLC y MTP e incorporar una pregunta sobre la titulación y la especialidad que cursa (dado que la población abarca la formación de docencia en varias especialidades); una pregunta sobre herramientas que componen el PLE del estudiantado (porque los resultados podrán vincularse con los análisis de los diseños PLE, en el estudio que se pretende hacer a futuro) y una pregunta sobre si conocía del tema PLE antes de este curso, porque podrá dar una idea sobre la experiencia previa del estudiantado con el concepto.

Todas estas preguntas se dejan abiertas, y están redactadas como sigue: “¿Qué titulación y especialidad cursa?”, “Mencione en orden de importancia cinco herramientas que componen su PLE” y “Si conoció el concepto de PLE antes de este curso indique dónde”.

La sugerencia de MLC y de JAM de incluir en las dimensiones 3, 4, 5, 6 y 7 un último ítem que diga “Otro”, se aceptó, porque puede abrir nuevas posibilidades al cuestionario, y se le agregará un espacio en blanco para que el estudiante lo agregue.

Asimismo, se aceptó la sugerencia de JI2TE de cambiar el orden de los ítems 3, 4 y 5; colocándolos como primeros en su categoría; muy específicamente, colocando el ítem 4 (“Definí mis objetivos personales de aprendizaje”) de primero.

Por el contrario, la observación de MPE, es decir “yo prefiero escalas que no contengan un punto intermedio, porque la tendencia es irse a ese punto”, no se manifestó como una sugerencia sino como una manifestación personal, y esa falta de apremio, unido a que es la única persona que indica un cambio tan radical en el cuestionario, logró que no se haya implementado.

Igualmente, otra sugerencia de MPE que no aplicó es “yo usaría siempre el genérico en español, que es el PROFESOR”, porque en los planes de aplicaciones futuras del cuestionario, quien investiga siempre conocerá si se refiere a profesora o profesor, y se adaptará previamente el cuestionario a la situación, según el grupo de estudiantes en el que vaya a ser aplicado.

Algunas sugerencias de incorporar nuevos ítems no serán atendidas en el presente cuestionario, sino que serán incorporadas mediante técnicas de recolección de información más profundas, como la entrevista. Tal es el caso de las sugerencias aportadas por JAM “Valorar la información/ayuda/asesoramiento recibido (¿profesora?) durante la elaboración del PLE y su desarrollo/empleo”, “Formación previa en informáticas y TIC” y “Formación en técnicas y hábitos de estudio”; así como la sugerencia de RTK “¿fue muy difícil aprender a usar la herramienta?”.

En efecto, a raíz de estas sugerencias, temas como las dificultades que el estudiantado ha encontrado en el desarrollo del PLE y su aprendizaje en él, el papel del personal docente en el desarrollo del PLE y el aprendizaje en el PLE, así como la formación previa en TIC y los hábitos de estudio; serán elementos que se involucrarán en las entrevistas para estudiantes que se harán en una investigación posterior.

4.4.2 Análisis de las recomendaciones sobre los ítems que deben modificarse en CPLE1

Es destacable que JAM anota que los ítems 1, 2, 3 y 6 corresponden a una misma idea: la organización del tiempo. En efecto, los ítems que dicen “Realicé a tiempo las actividades propuestas por la profesora”, “Gestioné adecuadamente mi tiempo para las actividades online”, “Cumplí con los plazos para entregar los trabajos” y “Logré una adecuada dosificación de mi tiempo para realizar mis tareas”, se refieren a la organización del tiempo como logro en la autogestión del aprendizaje.

Lo señalado por el experto JAM lleva implícita la recomendación de analizar estos ítems conjuntamente, como pertenecientes a una misma dimensión; y al mismo tiempo relaciona a dos de los ítems que deben modificarse por tener un bajo nivel de correlación con los demás ítems de su categoría y por su baja confiabilidad: el 1 y el 3.

Por su parte, RTK no solo relacionó los ítems 1 y 3, como JAM, sino que afirmó que no notaba diferencia entre los ítems 1 y 3; literalmente sobre el ítem 3 señaló “¿No es igual que ١?”. Por su parte, el PI2TE sostuvo que el ítem 3 es consecuencia del ítem 2.

Se concluye que hay que ajustar los ítems 1 y 3 de forma simultánea, para diferenciarlos entre sí, y se debe evitar también que el 3 sea consecuencia del 2. No obstante, es deseable que continúen refiriéndose a la organización del tiempo como logro en la autogestión del aprendizaje, lo cual ayudaría a que tengan más correlación con el resto de ítems de la categoría. Partiendo de estas ideas, los ítems 1 y 3 quedan así: “Realicé a tiempo las actividades propuestas por la profesora para trabajo en clase” y “Cumplí con los plazos para entregar los trabajo extraclase”.

Respecto al ítem 11, que dice “Esquematicé adecuadamente mi PLE”, JAM sostiene que el ítem no guarda coherencia con la dimensión. También, tanto JAM como RTK consideran en que debe eliminarse la palabra “adecuadamente”, el primero porque la adecuación debe valorarse en la escala y el segundo porque no queda claro a qué se refiere esa adecuación.

Por su parte, el PI2TE lanza una interesante pregunta sobre el ítem 11: “¿esquematizó o implemento?”. Esta observación, aunque escueta, promovió la reflexión del investigador sobre si el verbo “implementar” se acerca más a la idea de logro que el verbo “esquematizar”, después de todo, la categoría se refiere a logros.

Se concluye que este ítem debe, en primer lugar, evitar el uso del adverbio “adecuadamente”, y en segundo lugar, debe modificarse de manera que tenga más coherencia con la dimensión a la que corresponde y referirse directamente a logros en la autogestión del aprendizaje.

Ante esto no deben olvidar dos cosas: primero, que el cuestionario fue aplicado en estudiantes que estudiaron el tema PLE en un curso de tecnología educativa; y segundo, que el diseñar un esquema que muestre los elementos que componen el PLE y que evidencie las relaciones entre estos elementos es una de las actividades básicas y fundamentales del tema PLE. Por lo tanto, es deseable que el ítem continúe refiriéndose al diseño de un esquema PLE.

Cabe aclarar también, que el esquematizar el PLE se realiza con la intención de reflexionar el papel que tienen las herramientas y demás elementos del PLE en el proceso de aprendizaje del estudiantado. Este es un aspecto por el que quienes investigan, y la comunidad de profesionales en tecnología educativa, con interés en el tema, muestra especial interés.

Por estas razones se replantea el ítem 11 como “El diseñar un esquema de mi PLE ayudó a mi aprendizaje”. En este caso, el ítem toma el diseño como un factor de éxito en el aprendizaje y, por lo tanto, como un logro en la autogestión del aprendizaje, lo cual refiere a la esencia del diseño del PLE y es coherente con la dimensión a la que pertenece el ítem.

El ítem 20, que también pertenece a la primera categoría como los anteriores, también debe modificarse, como lo indica la tabla 9. Este ítem dice “Exploré herramientas aunque no fueran parte de mi PLE”.

Para el análisis de este ítem, JAM recomienda no perder de vista el ítem 10 (el cual dice “Utilicé exitosamente herramientas tecnológicas externas a AulaWeb”). Por su parte, el experto RTK sostiene que el ítem 20 puede ser confuso, y el PI2TE hace una pregunta sobre este ítem que invita a la reflexión sobre su coherencia: “¿explorar será uno de los logros?”. Estas observaciones, principalmente la última, quizás expliquen su baja correlación (bajo iHC) con el resto de ítems de su categoría.

Considerando estas observaciones, se concluye que el ítem 20 debe modificarse evitando una duplicidad, una inconsistencia o una contradicción con el ítem 10; además, debe aumentar su claridad y su coherencia con la dimensión a la que corresponde.

Por estas razones se replantea el ítem 20 como sigue: “Desde la primer vez que diseñé un esquema de mi PLE hasta ahora, he incorporado nuevas herramientas a mi PLE”. Esta modificación pretende facilitar la reflexión retrospectiva en el estudiantado, porque le brinda un punto de partida, un momento en el tiempo en el que tuvo que reflexionar sobre su PLE y concienciar sobre las herramientas que lo componían.

De esta forma se mide si el estudiantado logró la gestión de nuevas herramientas y, más aún, si las incorporó a su PLE, brindando una idea sobre el desarrollo del PLE del estudiantado. Además, los resultados aportarán ideas para el análisis de sus esquemas PLE, estudio que el equipo investigador desea hacer próximamente en futuros trabajos.

El ítem 22, que dice “Compartí o intercambié información con las personas participantes del curso utilizando las herramientas de AulaWeb”, según los análisis realizados tienen una baja correlación con los demás ítems de su categoría (es decir: “estrategias utilizadas para autogestionar el aprendizaje en el PLE”). No obstante, reportó buenas valoraciones por el grupo experto y, en consistencia, tuvo un icO relativamente elevado, además, tuvo pocas observaciones y recomendaciones.

No obstante, la única recomendación para este ítem, efectuada por PI2TE, tiene mucho que decir: “Solo dejaría un verbo, o compartí o intercambié”, En efecto, invita a reflexionar sobre las diferencias entre “compartir” e “intercambiar” información.

La primera opción hace referencia a una acción unidireccional, en la que el estudiantado distribuye un aporte informativo a una persona o a grupo de personas, y la segunda alude a una acción bidireccional o, incluso, multidireccional, donde hay “trueques” de información y, por lo tanto, implica niveles de reciprocidad. Es decir, en ambos casos hay flujo de información; sin embargo, si no hay reciprocidad el estudiantado percibirá “compartir”, pero no “intercambiar”.

Por otra parte, la observación de PI2TE también invita a analizar las posibilidades que ofrece la plataforma AulaWeb para el flujo de la información y las prestaciones que brinda al estudiantado para “compartir” o “intercambiar”.

Para poder analizar estas posibilidades, y considerando que el ítem 22 tuvo un icO relativamente elevado, con pocas observaciones y recomendaciones para su transformación por la parte experta, se decide conservar intacto el encabezado del ítem y dividirlo en dos ítems, uno con el verbo “compartir” y el otro con “intercambiar”.

Es decir, se cambiará el ítem 22 del cuestionario por los siguientes dos ítems: “Compartí información con las personas participantes del curso utilizando las herramientas de AulaWeb” e “Intercambié información con las personas participantes del curso utilizando las herramientas de AulaWeb”. Se recomienda estudiar la coherencia con la dimensión y la influencia en la consistencia interna que tendrán los dos nuevos ítems en futuras aplicaciones del cuestionario.

Un análisis análogo se puede hacer con el ítem 24, que dice “Compartí o intercambié información con personas externas al curso”. Porque en este se observan características equiparables con el ítem 22: pertenece a la misma categoría, tiene relativamente elevado icO, tiene bajo el iHC, y el personal experto le hizo una única recomendación: “Solo dejaría un verbo, o compartí o intercambié”.

En concordancia, se toma la misma decisión que se tomó con el ítem 22, esta es: dividir el ítem 24 en dos, uno con el verbo “compartí” y el otro con el verbo “intercambié”. No obstante, para intentar lograr una mayor correlación con el resto de ítems de la categoría se les agregará a estos ítems un poco más de especificidad y de acercamiento a la dimensión, indicando en su enunciado que las acciones de compartir e intercambiar información se realizan con las herramientas del PLE del estudiantado.

De esta manera, los ítems que sustituyen al ítem 24 quedan así: “Compartí información con personas externas al curso utilizando herramientas de mi PLE” e “Intercambié información con personas externas al curso utilizando herramientas de mi PLE”. Se recomienda estudiar la coherencia de estos dos ítems con la dimensión y la influencia que tienen en la consistencia interna, en futuras aplicaciones del cuestionario.

El ítem 35, dice: “Mostré una actitud crítica sobre las estrategias de enseñanza utilizadas por la profesora”, y pertenece a la misma dimensión que los ítems 22 y 24, es decir, a la dimensión “estrategias utilizadas para autogestionar el aprendizaje en el PLE”. Este ítem reporta un icO aceptable, además tiene un iHC bajo, aunque su eliminación no eleva la confiabilidad del cuestionario.

Únicamente miembros del PI٢TE hicieron recomendaciones sobre este ítem. En efecto, uno señaló lo siguiente “¿crítica y propositiva?”, y otro apuntó que le daba temor lo que se pudiera entender por “actitud crítica”.

Lo señalado por PI2TE deja claro que el ítem 35 debe liberarse de la ambigüedad de los términos “actitud crítica”. Por esto se tomó la decisión de sustituir “una actitud crítica” con “un pensamiento crítico”, pues esta última idea alude de forma directa a una actitud intelectual con criticidad. El objeto sobre el que se realiza la acción se conserva, porque las estrategias de enseñanza que utiliza el personal docente son referentes para construir las propias estrategias de aprendizaje, y actuar con criticidad ante estos referentes es deseable. El ítem 35 modificado queda así: “Mostré un pensamiento crítico ante las estrategias de enseñanza utilizadas por la profesora”.

4.4.3 Síntesis de las modificaciones realizadas al cuestionario

La tabla 10 sintetiza los cambios realizadas en CPLE1 que se mencionan en las secciones anteriores y que fueron tomadas en cuenta para construir CPLE2, las modificaciones se organizaron según el elemento del cuestionario al que se refiere.

Tabla 10

Cambios realizados en el cuestionario, según el elemento

Nota: Elaboración propia.

5.Conclusiones y recomendaciones

Del trabajo realizado se concluye:

1.El cuestionario CPLE1 no hereda la confiabilidad ni la validez de los instrumentos que lo inspiraron y lo fundamentaron.

2.El Panel Internacional de Investigación en Tecnología Educativa (PI2TE) es un valioso recurso investigativo, se recomienda incentivar este tipo de iniciativas.

3.Ha sido conveniente que el análisis de confiabilidad mediante el alfa de Cronbach y el índice de homogenidad corregido se realizaran por dimensiones, es comprensible porque el cálculo de este estadístico implica correlaciones. Este método permitió la identificación de ítems con una inaceptable fiabilidad, de ítems indiferenciadores y no impide el cálculo de un alfa global representativo de todo el instrumento.

4.El índice de congruencia de Osterlind funcionó adecuadamente para el análisis de validez de contenido de los distintos componentes de CPLE1, se recomienda su uso para la técnica del juicio experto.

5.Es recomendable que en los análisis de validez de contenido “por juicio experto” se brinden guías a los grupos expertos, para que expresen sus opiniones adecuadamente. Es importante que se recojan sus observaciones para que sean analizadas cualitativamente, y fundamenten decisiones y posibles adaptaciones de los ítems. La construcción del cuestionario CPLE2 ha tomado esto en cuenta.

6.Se recomienda que el análisis de instrumentos con escalas Likert cuide los supuestos estadísticos correspondientes a la naturaleza de sus variables, que son ordinales. En instrumentos con este tipo de ítems corresponden pruebas estadísticas no paramétricas.

7.Es recomendable que en cursos de metodología investigativa se incorporen métodos sistemáticos para el análisis de la confiabilidad y la validez de instrumentos. Este artículo puede servir como herramienta para este tipo de cursos.

Referencias

Andrich, D. y Schoubroeck, L. (1989). The General Health Questionnaire: a psychometric analysis using latent trait theory. Psychological Medicine, 19, 469-485.

Aron, A., Coups, E.J. y Aron, E.N. (2013). Statistic for Psychology. London: Pearson.

Barrazas, A. (2007). La consulta a expertos como estrategia para la recolección de evidencias de validez basadas en el contenido. Investigación Educativa Duranguense, 7, 5-14. ISSN 2007-039X. Disponible en <http://dialnet.unirioja.es/servlet/articulo?codigo=2358908>

Cabero, J., Barroso, J. y Llorente, M. C. (2010). El diseño de entornos personales de aprendizaje y la formación de docentes en TIC. Digital education review, (18), 27-37. Disponible en <http://greav.ub.edu/der>.

Chacón, S., Pérez J. A., Holgado, F. P. y Lara, A. (2011). Evaluación de la calidad universitaria: Validez de contenido. Psicothema, 13(2), 294-301.

Chaves, E., Trujillo, J. M., y López, J. A. (2015). Autorregulación del aprendizaje en entornos personales de aprendizaje en el Grado de Educación Primaria de la Universidad de Granada, España. Formación Universitaria, 8(4), 63-76. doi:10.4067/S0718-50062015000400008

Chaves, E., Trujillo, J. M., y López, J. A. (2016). Acciones para la autorregulación del aprendizaje en entornos personales. Píxel-Bit. Revista de Medios y Educación, 48, 67-83. doi:10.12795/pixelbit.2016.i48.05

Chaves-Barboza, E., Trujillo-Torres, J. M., López-Núñez, J. A. y Sola-Martínez, T. (2017). Acciones y logros en la autorregulación del aprendizaje en entornos personales. Un estudio en el Grado de Educación Infantil en la Universidad de Granada. Journal of New Approaches in Educational Research, 6(2), 135-143, doi: https://doi.org/10.7821/naer.2017.7.236

Cronbach, L. J. (1951). Coeficient alpha and the internal structure of test. Psychometrika, 16, 297-334.

Cronbach L. J., Schoneman P. y Mckie, D. (1965). Alpha coefficient for stratified-parallel test. Educ Psychol Meas, 25, 291-312.

Flick U. (2004). Introducción a la investigación cualitativa. Madrid : España : Ediciones Morata.

George, D. y Mallery, P. (1995). SPSS/PC + Step. A Simple Guide and Reference. Belmont: Wadsworth Publishing Company.

Gravetter, F. J. y Wallnau. (2013). Statistics for the Behavioral Sciences. Belmont, CA: Wadsworth, Cengage Learning.

Gregory, R. J. (2001). Evaluación psicológica: Historia, principios y aplicaciones. México: El Manual Moderno.

Johnson, M. W. y Sherlock, D. (2014). Beyond the Personal Learning Environ- ment: attachment and control in the classroom of the future. Interactive Learning Environments, 22(2), 146-164. doi:10.1080/10494820.2012.745434

Howell, D. C. (2014). Fundamental Statistics for the Behavioral Sciences. Belmont, CA: Wadsworth Cengage Learning.

Larsen, R. J. y Marx, M. L. (2012). An introduction to mathematical statistics and its applications. New York: Prentice Hall.

Likert, R. (1932). A technique for the measurement of attitudes. Archives of Psychology, (140), 1-50.

McIver, J. P. y Carmines, E. G. (1981). Unidimensional scaling. Beverly Hills, CA: Sage.

Mendenhall III, W., Beaver, R. J. y Beaver, B. M. (2013). Introduction to probability and Statistics. Boston, MA: Brooks/Cole, Cengage Learning.

Millman, J. y Greene, J. (1989). The specification and development of test of achievement and ability. En R. L. Linn (Ed.), Educational Measurement. London: Macmillan.

Padua, J. (1987). Técnicas de investigación aplicadas a las ciencias sociales. México D.F.: Fondo de Cultura Económica.

Peters, C. C. y Van Vorhis, W. R. (1940). Statistical procedures and their mathematical bases. New York: McGraw-Hill.

Osterlind, S.J. (1989). Constructing tests items. Boston: Kluwer Academic Publishers.

Strauss, A. L. y Corbin, J. (1990). Basics of qualitative research. Londres: Sage.

Salkind, N. J. (1999). Métodos de Investigación. México: Prientice-Hall.

Schaffert, S. y Hilzensauer, W. (2008). On the way towards Personal Learning Environments: Seven crucial aspects. eLearning Papers, 9. Disponible en <www.elearningpapers.eu>.

Strauss, A. L. y Corbin, J. (1990). Basics of qualitative research. Londres: Sage.

Streiner, D. L. (2003). Startin at the beginning: an introduction to coefficient alpha and internal consistency. Journal of Personality Assessment, (80), 99-103.

Wackerly, D. D., Mendenhall III, W. y Scheaffer, R. L. (2010). Estadística matemática con aplicaciones. México, D.F.: Cengage Learning Editores.

Walpole, R. E, Myers, R. H., Myers, S. L. y Ye, K. (2012). Probability & Statistics for Engineers & Scientists. New York: Prentice Hall.

Witte, R. S. y Witte, J. S. (2010). Statistics. Danvers. MA, EUA: Wiley.


1 Dr. Eduardo Chaves Barboza, educador y matemático. Ph.D. en Currículo y Formación de Profesorado por la Universidad de Granada, España. Docente desde 1994 en el Ministerio de Educación, la Universidad de Costa Rica y la Universidad Nacional, donde es académico titular desde 2008 y ha impartido cursos de matemática, investigación, pedagogía y didáctica. Fruto de sus investigaciones ha publicado en revistas especializadas sobre matemática educativa, organización escolar, autorregulación del aprendizaje, entre otros temas.

2 M.Ed. Laura Rodríguez Miranda, educadora y humanista. Magister en Integración de personas con discapacidad por la Universidad de Salamanca, España. Docente de educación especial para el Ministerio de Educación Pública desde 2004, en instituciones de educación primaria y de educación especial. Sus investigaciones versan sobre autorregulación del aprendizaje, docencia y formación del profesorado. Ha servido como voluntaria en instituciones para el desarrollo humano, como Caritas Internationalis y la Pastoral Educativa Católica.

3 Este cuestionario puede descargarse en la URL <https://goo.gl/GH4Gsh>

4 Esta guía de validación puede descargarse en la URL <https://goo.gl/gi843G>

5 Este cuestionario se puede descargar en la URL <https://goo.gl/gJdY1I>

6 Su dirección URL es <http://gte2.uib.es/panel/>

7 Es decir, la Asociación para el desarrollo de la Tecnología Educativa y de las Nuevas Tecnologías aplicadas a la educación, su URL es <http://www.edutec.es/>

8 Estas claves provienen de las iniciales de sus nombres, se pretende con esto guardar confidencialidad.

9 Algunas investigaciones consideran que el iHC también se refiere a la validez en el sentido integrador del concepto (Prieto y Delgado, 2010), o que son indicio de la validez de constructo (Cronbach y Meehl, 1955; citados por Prieto y Delgado, 2010). Pero esta dimensión del iHC no será considerada en el presente estudio, sino únicamente su efecto en la consistencia interna del instrumento.

 

 

Licencia Creative Commons
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-SinDerivadas 4.0 Internacional

URL de la licencia: https://creativecommons.org/licenses/by-nc-nd/4.0/

..