Psycho-Technical Study of a Digital Competence Assessment Tool for Problem-Solving Skills of Compulsory Education Students

Keywords: Compulsory education students, competency assessment, digital competence, digital problem-solving

Abstract

Introduction. The assessment of students’ digital competence is essential as its results provide significant data to design and develop proposals for digital literacy instruments in the education system. Therefore, it is necessary to develop assessment procedures for individuals to overcome their self-limiting beliefs on digital competence and identify their knowledge, skills, and attitudes. Method. This article presents the results of a study aimed to analyze the psychometric characteristics of a tool to assess the digital competence of Compulsory Education students in the problem-solving competence area. The results were obtained by a descriptive and transversal methodology and a sample composed of 595 students aged 12-14 from 17 educational centers. The data analysis focused on the validity and reliability of the instrument. Results and conclusion. The main conclusion is that we are faced with an efficient and reliable tool that allows us to identify the level of observed digital competence in the area mentioned above.

Author Biographies

Marcos Cabezas-González, Universidad de Salamanca

Doctor en Pedagogía y Diplomado en Educación Social por la Universidad Pontificia de Salamanca. Profesor Contratado Doctor en el Departamento de Didáctica, Organización y Métodos de Investigación de la Universidad de Salamanca. Investigador en el Grupo de Investigación en Tecnología Educativa de la Universidad de Salamanca (GITE-USAL).

Sonia Casillas-Martín, Universidad de Salamanca

Doctora en Pedagogía y Licenciada en Psicopedagogía por la Universidad Pontificia de Salamanca. Profesora Contratada Doctora en el Departamento de Didáctica, Organización y Métodos de Investigación de la Universidad de Salamanca. Investigadora en el Grupo de Investigación en Tecnología Educativa de la Universidad de Salamanca (GITE-USAL).

Ana García-Valcárcel-Muñoz-Repiso, Universidad de Salamanca

Doctora en Ciencias de la Educación por la Universidad Pontificia de Comillas (Madrid). Catedrática de Tecnología Educativa de la Universidad de Salamanca. Directora del grupo de investigación GITE-USAL y Coordinadora del Máster en Tecnologías de la Información y Comunicación en la Educación que se imparte en la Facultad de Educación de la Universidad de Salamanca.

Verónica Basilotta-Gómez-Pablos, Universidad a Distancia de Madrid

Doctora en Ciencias de la Educación y Licenciada en Psicopedagogía por la Universidad de Salamanca. Profesora Contratada Doctora en el Departamento de Educación, de la Universidad a Distancia de Madrid. Investigadora en el Grupo de Investigación en Tecnología Educativa de la Universidad de Salamanca (GITE-USAL).

References

Alonso-Ferreiro, A. y Gewerc, A. (2018). Alfabetización mediática en la escuela primaria. Estudio de caso en Galicia. Revista Complutense de Educación, 29(2), 407-422. https://doi.org/10.5209/RCED.52698

Baena Paz, G. (1985). Manual para elaborar trabajos de investigación documental. Editores Unidos Mexicanos.

Basilotta Gómez-Pablos, V., García-Valcárcel Muñoz-Repiso, A., Casillas Martín, S. y Cabezas González, M. (2020). Evaluación de competencias informacionales en escolares y estudio de algunas variables influyentes. Revista Complutense de Educación, 31(4), 517-528. https://doi.org/10.5209/rced.65835

Brooks-Young, S. (2016). ISTE standards for students. A practical guide for learning with yechnology. Stanstebook.

Cabezas González, M. y Casillas Martín, S. (2018). Social educators: A study of digital competence from a gender differences perspective. Croatian Journal of Education, 20(1), 11-42. https://doi.org/10.15516/cje.v20i1.2632

Calvani, A., Cartelli, A., Fini, A. y Ranieri, M. (2008). Models and instruments for assessing digital competence at school. Journal of e-Learning and Knowledge Society, 4(3), 183-193. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.830.3183&rep=rep1&type=pdf

Carretero, S., Vuorikari, R. y Punie, Y. (2017). DigComp 2.1. The digital competence framework for citizens. With eight proficiency levels and examples of use. Publications Office of the European Union. https://doi.org/10.2760/38842

Casillas-Martín, S. y Cabezas-González, M. (2020). Validación de la prueba de evaluación de competencias digitales para estudiantes de educación obligatoria (ECODIES). En A. Hernández Martín y A. Iglesias Rodríguez (Coords.), Evaluación de las competencias digitales de estudiantes de educación obligatoria. Diseño, validación y presentación de la prueba ECODIES (pp. 67-90). Octaedro.

Casillas-Martín, S., Cabezas-González, M. y García-Valcárcel, A. (2020). Análisis psicométrico de una prueba para evaluar la competencia digital de estudiantes de educación obligatoria. RELIEVE, 26(2), 1-22. http://doi.org/10.7203/relieve.26.2.17611

Castro Morera, M. (2011). ¿Qué sabemos de la medida de las competencias? Características y problemas psicométricos en la evaluación de competencias. Bordón, 63(1), 109-123. https://dialnet.unirioja.es/servlet/articulo?codigo=3601046

Ferrando, P. J. (1996). Evaluación de la unidimensionalidad de los ítems mediante análisis factorial. Psicothema, 8(2), 397-410. http://www.psicothema.com/pdf/38.pdf

Ferrari, A. (2013). DigComp: A framework for developing and understanding digital competence in Europe. European Union. https://doi.org/10.2788/52966

Frailon, J., Schulz, W., Friedman, T., Ainley, J. y Gebhardt, E. (2013). IEA international computer and information literacy Study. Secretariat. https://doi.org/10.15478/uuid:b9cdd888-6665-4e9f-a21e-61569845ed5b

García-Valcárcel Muñoz Repiso, A., Hernández Martín, A., Mena Marcos, J. J., Iglesias Rodríguez, A., Casillas Martín, S., Cabezas González, M., González Rodero, L., Martín del Pozo, M. y Basilotta Gómez-Pablos, V. (2019). Modelo de indicadores para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DigComp (INCODIES). https://gredos.usal.es/jspui/handle/10366/139409

García-Valcárcel Muñoz-Repiso, A., Salvador Blanco, L., Casillas-Martín, S. y Basilotta Gómez-Pablos, V. (2019). Evaluación de las competencias digitales sobre seguridad de los estudiantes de educación básica. RED, Revista de Educación a Distancia, 19(61), 1-34. https://doi.org/10.6018/red/61/05

García-Valcárcel Muñoz-Repiso, A., Casillas Martín, S. y Basilotta Gómez-Pablos, V. (2020). Validation of an indicator model (INCODIES) for assessing student digital competence in basic education. Journal of New Approaches in Educational Research, 9(1), 110-125. https://doi.org/10.7821/naer.2020.1.459

González-Segura, C. M., García-García, M. y Menéndez-Domínguez, V. H. (2018). Análisis de la evaluación de competencias y su aplicación en un sistema de gestión del aprendizaje. Un caso de estudio. RED. Revista de Educación a Distancia, 17(58), 1-20. http://dx.doi.org/10.6018/red/58/3

Henriquez-Coronel, P., Gisbert Cervera, M. y Fernández Fernández, I. (2018). La evaluación de la competencia digital de los estudiantes: Una revisión al caso latinoamericano. Chasqui. Revista Latinoamericana de Comunicación, (137), 93-112. https://dialnet.unirioja.es/servlet/articulo?codigo=6578583

ISTE. (2008). ISTE Standards for Teachers. NETBO2.

Krumsvik, R. J. (2011). Digital competence in Norwegian teacher education and schools. Högre Utbildning, 1(1), 39-51. https://www.researchgate.net/publication/305360830_Digital_competence_in_the_Norwegian_teacher_education

Mishra, P. y Koehler, M. (2006). Technological pedagogical content knowledge: A framework for teacher knowledge. State University. https://doi.org/10.1111/j.1467-9620.2006.00684.x

Muñiz, J. (1998). Teoría clásica de los test. Pirámide.

Oliden, P. E. y Zumbo, B. D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896‐901. http://www.psicothema.com/psicothema.asp?id=3572

Rodríguez-Groba, A., Martínez-Piñeiro, E. y González-Villa, Á. (2021). Lights and shadows in the e-communication of Galician pre-teens. IEEE Revista Iberoamericana de Tecnologias del Aprendizaje, 16(1), 122-131. https://doi.org/10.1109/RITA.2021.3052675

Serafín, Č., Depešov, J. y Bánesz, G. (2019). Understanding digital competences of teachers in Czech Republic. European Journal of Science and Theology, 15(1), 125-132. https://www.researchgate.net/publication/330262611_Understanding_digital_competences_of_teachers_in_Czech_Republic

United Nations Educational, Scientific and Cultural Organization. (2011). UNESCO ICT competency framework for teachers. Autor. https://unesdoc.unesco.org/ark:/48223/pf0000213475

Vuorikari, R., Punie, Y., Carretero, S y van den Brande, L. (2016). DigComp 2.0: The digital competence framework for citizens. Update phase 1: The conceptual reference model. Publication Office of the European Union. https://doi.org/10.2791/11517

Wiersma, W. (1986). Research methods in education: An introduction. Allyn and Bacon.

Zumbo, B. D., Gadermann, A. M. y Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for Likert rating scales. Journal of Modern Aapplied Statistical Methods, 6(1), 20-29. https://doi.org/10.22237/jmasm/1177992180

Published
2021-06-02
How to Cite
Cabezas-González, M., Casillas-Martín, S., García-Valcárcel-Muñoz-Repiso, A., & Basilotta-Gómez-Pablos, V. (2021). Psycho-Technical Study of a Digital Competence Assessment Tool for Problem-Solving Skills of Compulsory Education Students. Revista Electrónica Educare, 25(3), 1-21. https://doi.org/10.15359/ree.25-3.2

Comentarios (ver términos de uso)