Standardized Learning Assessment in Languages Core Curricula: A Study at the Autonomous University of Baja California, México
DOI:
https://doi.org/10.15359/ree.27-3.17218Keywords:
Second language, standardization, evaluation, test, morphology, psychometryAbstract
Objective. The study presents the structure and components of a standardized departmental test applied to one of the subjects of outmost curricular relevance for the core curricula of the Faculty of Languages (FL). It also presents psychometric evaluation results of the evaluation performed on the test. Method. To conduct this standardized test, the study used the methodology developed by the Educational Research & Development Institute (Contreras Niño, 2000; Contreras Niño & Backhoff Escudero, 2004). The test is based on the proposed psychometric model by Nitko (1994), designed to construct large-scale criterion-referenced tests. The study sample consisted of 260 first-semester students from FL in the state. The psychometric analysis followed the Item Response Theory to measure features such as the discrimination index, discrimination coefficient, and difficulty index. Results. Average values obtained from the psychometric analysis of the test exceeded discrimination index and coefficient standards (.32), especially those obtained in the thematic unit of greatest curricular relevance for the studied subject. Also, a general average difficulty and an acceptable distribution of said difficulty in the items were observed. Conclusions. The obtained values for the reliability and validity features evidenced the instrument´s quality. This directly contributes to the certainty of the level of mastery that the students show in relation to the knowledge universe represented in the test; this situation has a high impact because of the relevance of this subject.
References
Aguilar-Salinas, W. E., & De las Fuentes Lara, M. (2023). Examen colegiado y predictores de éxito en los estudiantes de álgebra lineal. Bolema: Boletim de Educação Matemática, 37(6), 797-822. http://dx.doi.org/10.1590/1980-4415v37n76a20
Aliaga Tovar, J. (2007). Psicometría: Tests psicométricos, confiabilidad y validez. Psicología: Tópicos de Actualidad, 8, 85-108. https://www.academia.edu/download/33465691/CONFIABILIDAD_Y_VALIDEZ.pdf
Árraga Barrios, M. V. & Sánchez Villarroel, M. (2012). Validez y confiabilidad de la Escala de felicidad de Lima en adultos mayores venezolanos. Universitas Psychologica, 11(2), 381-393. https://doi.org/10.11144/Javeriana.upsy11-2.vcef
Aune, S. & Attorresi, H. F. (2019). Teoría de la respuesta al ítem: Su utilización en América Latina. Supuestos de unidimensionalidad e independencia local. XI Congreso Internacional de Investigación y Práctica Profesional en Psicología. XXVI Jornadas de Investigación. XV Encuentro de Investigadores en Psicología del MERCOSUR. I Encuntro de Investigación de Terapia Ocupacional. I encuentro de Musicoterapia. Universidad de Buenos Aires. https://www.aacademica.org/000-111/116
Backhoff Escudero, E. (2018). Evaluación estandarizada de logro educativo: Contribuciones y retos. Revista Digital Universitaria, 19(6), 1-14. http://doi.org/10.22201/codeic.16076079e.2018.v19n6.a3
Backhoff Escudero, E., Larrazolo Reyna, N., & Rosas Morales, M. (2000). Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). REDIE.Revista Electrónica de Investigación Educativa, 2(1), 11-28. https://www.redalyc.org/articulo.oa?id=15502102
Brooks, G. P. & Johanson, G. A. (2003). TAP: Test Analysis Program. Applied Psychological Measurement, 27(4), 303-304. https://doi.org/10.1177/0146621603027004007
Carlos Martínez, E. A., Galván Parra, L. A., & Ruiz Moreno, R. (2011, 7-11 de noviembre). Análisis de las propiedades psicométricas de un examen de admisión para aspirantes a ingeniería. XI Congreso Nacional de Investigación Educativa. https://www.comie.org.mx/congreso/memoriaelectronica/v11/docs/area_01/1553.pdf
Centro Nacional de Evaluación para la Educación Superior (CENEVAL). (2017). Origen y evolución del Ceneval. https://docplayer.es/79887381-Origen-y-evolucion-del-ceneval.html
Contreras Niño, L. Á. (2000). Desarrollo y pilotaje de un examen de español para la educación primaria en Baja California [Tesis de Maestría, Universidad Autónoma de Baja California]. http://iide.ens.uabc.mx/documentos/divulgacion/tesis/MCE/1998/Luis_Angel_Contreras_Nino.pdf
Contreras Niño, L. Á. & Backhoff Escudero, E. (2004). Metodología para elaborar exámenes criteriales alineados al currículo. En S. Castañeda Figueiras (Ed.), Educación, aprendizaje y cognición. Teoría en la práctica (pp. 298-323). Manual Moderno.
Correa-Rojas, J. (2021). Coeficiente de correlación intraclase: Aplicaciones para estimar la estabilidad temporal de un instrumento de medida. Ciencias Psicológicas, 15(2). https://doi.org/10.22235/cp.v15i2.2318
Cortada de Kohan, N. (2004). Teoría de respuesta al ítem: Supuestos básicos. Revista Evaluar,4(1), 95-110. https://doi.org/10.35670/1667-4545.v4.n1.600
Cuenca, A. A., Álvarez, M., Ontaneda, L. J., Ontaneda, E. A., & Ontaneda, S. E. (2021). La taxonomía de Bloom para la era digital: Actividades digitales docentes en octavo, noveno y décimo grado de Educación General Básica (EGB) en la habilidad de comprender. Revista Espacios, 42(11), 11-25. 10.48082/espacios-a21v42n11p02
Fernández Martínez, M. A. (2013). Las pruebas estandarizadas y el diseño de la política educativa en México. Este país, (269), 34-36. https://biblat.unam.mx/es/revista/este-pais-mexico-d-f/articulo/las-pruebas-estandarizadas-y-el-diseno-de-la-politica-educativa-en-mexico
Fernández Navas, M., Alcaraz Salarirche, N., & Sola Fernández, M. (2017). Evaluación y pruebas estandarizadas: Una reflexión sobre el sentido, utilidad y efectos de estas pruebas en el campo educativo. Revista Iberoamericana de Evaluación Educativa, 10(1), 51-67. https://doi.org/10.15366/riee2017.10.1.003
Gómez Rada, C. A. (2004). Diseño, construcción y validación de un instrumento que evalúa clima organizacional en empresas colombianas, desde la teoría de respuesta al ítem. Acta Colombiana de Psicología, (11), 97-113. https://www.redalyc.org/pdf/798/79801108.pdf
González Campos, J. A., & Aspeé Chacón, J. E. (2021). Propuesta de estimador de la fiabilidad mediante Alfa-Game: La significancia estadística del coeficiente de fiabilidad. Revista Iberoamericana de Psicología, 14(1), 1-10. https://doi.org/10.33881/2027-1786.rip.14101
Gutiérrez Benítez, J. G. & Acuña Gamboa, L. A. (2020). Evaluación estandarizada de los aprendizajes en la UABC: Innovación desde el análisis psicométrico. Apertura, 12(1), 118-131. https://doi.org/10.32870/Ap.v12n1.1698
Gutiérrez Benítez, J. G. & Acuña Gamboa, L. A. (2022). Evaluación estandarizada de los aprendizajes: Una revisión sistemática de la literatura. CPU-e, Revista de Investigación Educativa, (34), 321-351. https://doi.org/10.25009/cpue.v0i34.2800
Hernández Madrigal, M., Ramírez Flores, É., & Gamboa Cerda, S. (2018). La implementación de una evaluación estandarizada en una institución de educación superior. Innovación Educativa, 18(76), 149-170. https://dialnet.unirioja.es/servlet/articulo?codigo=6791099
Hidalgo-Montesinos, M. D. & French, B. F. (2016). Una introducción didáctica a la teoría de respuesta al ítem para comprender la construcción de escalas. Revista de Psicología Clínica con Niños y Adolescentes, 3(2), 13-21. https://www.redalyc.org/pdf/4771/477152554002.pdf
Hurtado Mondoñedo, L. L. (2018). Relación entre los índices de dificultad y discriminación. Revista Digital de Investigación en Docencia Universitaria, 12(1), 273-300. https://doi.org/10.19083/ridu.12.614
Jornet Meliá, J. M. (2017). Evaluación estandarizada. Revista Iberoamericana de Evaluación Educativa, 10(1), 5-8. https://revistas.uam.es/riee/article/view/7590
Landis J. R. & Koch G. G. (1977) The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310
Mandeville, P. (2005). El coeficiente de correlación intraclase (ICC). Ciencia UANL, 8(3), 414-416. https://www.redalyc.org/pdf/402/40280322.pdf
Márquez Jiménez, A. (2014). Las pruebas estandarizadas en entredicho. Perfiles Educativos, 36(144), 3-9. https://www.redalyc.org/pdf/132/13230751001.pdf
Martínez Arias, M. R., Hernández Lloreda, M. J., & Hernández Lloreda, M. V. (2014). Psicometría. Alianza Editorial.
Medina Paredes, J., Ramírez Díaz, M. H., & Miranda, I. (2019). Validez y confiablidad de un test en línea sobre los fenómenos de reflexión y refracción del sonido. Apertura, 11(2), 104-121. http://dx.doi.org/10.32870/Ap.v11n2.1622
Medrano, L. A, & Pérez, E. (2019). Manual de psicometría y evaluación psicológica (2.ª ed.). Editorial Brujas. https://www.researchgate.net/publication/351094332_Manual_de_Psicometria_y_Evaluacion_Psicologica
Muñiz, J. (2010). Las teorías de los tests: Teoría clásica y teoría de respuesta a los ítems. Papeles del Psicólogo, 31(1), 57-66. https://www.redalyc.org/articulo.oa?id=77812441006
Nitko, A. J. (1994). A model for curriculum-driven criterion-referenced and norm-referenced national examination for certification and selection of students. Documento presentado en la Conference of Education, Evaluation and Assessment for the Association Studies of Educational Evaluation in Sudafrica (ASEESA). Sudáfrica. https://eric.ed.gov/?id=ED377200
Ortiz Romero, G. M., Díaz Rojas, P. A., Llanos Domínguez, O. R., Pérez Pérez, S. M., & González Sapsin, K. (2015). Dificultad y discriminación de los ítems del examen de metodología de la investigación y estadística. Edumecentro, 7(2), 19-35. https://pesquisa.bvsalud.org/portal/resource/pt/lil-738427
Oyarzún Maldonado, C., & Soto González, R. (2021). La improcedencia de estandarizar el trabajo docente: Un análisis desde Chile. ALTERIDAD Revista de Educación, 16(1), 105-116. https://doi.org/10.17163/alt.v16n1.2021.08
Parra Giménez, F. J. (2017). La taxonomía de Bloom en el modelo Flipped Classroom. Publicaciones Didácticas, (86), 176-179. https://core.ac.uk/download/pdf/235855538.pdf
Pérez Tapia, J. H., Acuña Aguilar, N., & Arratia Cuela, E. R. (2008). Nivel de dificultad y poder de discriminación del tercer y quinto examen parcial de la cátedra de cito-histología 2007 de la carrera de medicina de la UMSA.
Cuadernos Hospital de Clínicas, 53(2), 16-22. http://www.scielo.org.bo/pdf/chc/v53n2/v53n2a03.pdf
Ravela, P. (2010). ¿Qué pueden aportar las evaluaciones estandarizadas a la evaluación en el aula? Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (Serie Documentos). Preal, (47), 3-25. https://hdl.handle.net/20.500.12820/392
Reidl-Martínez, L. M. (2013). Confiabilidad en la medición. Investigación en educación médica, 2(6), 107-111. https://www.redalyc.org/pdf/3497/349733227007.pdf
Robles Pastor, B. F. (2018). Índice de validez de contenido: Coeficiente V de Aiken. Pueblo Continente, 29(1), 193-197. https://upao.edu.pe/descargas/categoria/index.php?link=revista-pueblo-continente
Tristán López, A. & Pedraza Corpus, N. Y. (2017). La objetividad en las pruebas estandarizadas. Revista Iberoamericana de evaluación educativa, 10(1), 11-31. https://doi.org/10.15366/riee2017.10.1.001
Viladrich, C., Angulo-Brunet, A., & Doval, E. (2017). Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna. Anales de Psicología, 33(3), 755-782. http://dx.doi.org/10.6018/analesps.33.3.268401
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2023 Jorge Gustavo Gutiérrez-Benítez, Luis Alan Acuña-Gamboa
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 3.0 Unported License.
1. In case the submitted paper is accepted for publication, the author(s) FREELY, COSTLESS, EXCLUSIVELY AND FOR AN INDEFINITE TERM transfer copyrights and patrimonial rights to Universidad Nacional (UNA, Costa Rica). For more details check the Originality Statement and Copyright Transfer Agreement
2. REUTILIZATION RIGHTS: UNA authorizes authors to use, for any purpose (among them selfarchiving or autoarchiving) and to publish in the Internet in any electronic site, the paper´'s final version, both approved and published (post print), as long as it is done with a non commercial purpose, does not generate derivates without previous consentment and recognizes both publisher's name and authorship.
3. The submission and possible publication of the paper in the Educare Electronic Journal is ruled by the Journal’s editorial policies, the institutional rules of Universidad Nacional and the laws of the Republic of Costa Rica. Additionally, any possible difference of opinion or future dispute shall be settled in accordance with the mechanisms of Alternative Dispute Resolution and the Costa Rican Jurisdiction.
4. In all cases, it is understood that the opinions issued are those of the authors and do not necessarily reflect the position and opinion of Educare, CIDE or Universidad Nacional, Costa Rica. It is also understood that, in the exercise of academic freedom, the authors have carried out a rogorous scientific-academic process of research, reflection and argumentation thar lays within the thematic scope of interest of the Journal.
5. The papers published by Educare Electronic Journal use a Creative Commons License:
The articles published by Educare Electronic Journal can be shared with a Creative Commons License: 
