Validity of a Content-Judged Instrument About the Implementation of Emotional Education Projects

Keywords: Emotional education, questionnaire, educational innovations, expert judge, content validity

Abstract

Introduction. This study aims to design and validate the content of a questionnaire for teachers participating in emotional education projects at the levels of kindergarten, primary, and secondary education. The instrument aims to elicit teachers’ opinions on five factors that condition the implementation of emotional education projects. Method. Designing an instrument validation corresponding to the exploratory stage (content validity) of the construct factors, which affect the implementation in emotional education. The agreements of 11 judges determined content validity, and 4 existing instruments were adapted to design the questionnaire. The scale has five dimensions and is made up of 88 items. Results. The findings show that the questionnaire facilitates the organization of information into items by dimension and satisfies the criteria of sufficiency, clarity, coherence, and relevance. The instrument reaches a statistically significant inter-judge agreement, although the level of agreement is low. The modifications the judges indicated were incorporated. Conclusions. The evaluated instrument was finally composed of 86 items, of which 31 items were reformulated and 5 rejected. The level of measurement of the items included nominal measures (8 items) and 78 interval items. The findings show an adequate validity of the questionnaire, which proved to have a valid structure and content for the further validation of the metric properties of the instrument. 

Author Biographies

Miguel Ángel Yunta-Ibarrondo, Universidad de Sevilla

Graduado en Educación Primaria por la Universidad de Sevilla. Magíster en Investigación en Ciencias de la Actividad Física y el Deporte. Doctorando en el Programa de Doctorado de Educación (Escuela Internacional de Doctorado, Universidad de Sevilla). Miembro del Grupo de Investigación en Educación Emocional y Dramatización (GRieeD).

Clara Romero-Pérez, Universidad de Sevilla

Doctora en Filosofía y Ciencias de la Educación por la Universidad de Sevilla. Máster en Pedagogía Universitaria y Enseñanza Universitaria por la Universidad de Lieja (Bélgica). Catedrática de Escuela Universitaria en la Universidad de Sevilla. Responsable del Grupo de Investigación en Educación Emocional y Dramatización (GRieeD). Líneas de investigación: Educación socio-afectiva y ambiente educacional, Teoría de la educación, Filosofía de la Educación.

References

Agner, J., Barile, J. P., Chandler, S. M. y Berry, M. (2020). Innovation in child welfare: Factors affecting adoption of empirically supported interventions. Children and Youth Services Review, 119(1), 105580. https://doi.org/10.1016/j.childyouth.2020.105580

Aiken, L. R. (2003). Tests psicológicos y evaluación (11.ª ed.). Pearson Educación.

Atkins, P. y Frederico, M. (2017). Supporting implementation of innovative social work Practice: What factors really matter? The British Journal of Social Work, 47(6), 1723-1744. https://doi.org/10.1093/bjsw/bcx091

Ato, M., Benavente, A. y López, J. J. (2006). Análisis comparativo de tres enfoques para evaluar el acuerdo entre observadores. Psicothema, 18(3), 638-645. https://bit.ly/3pqZYUi

Barry, C. T., Sidoti, C. L., Briggs, S. M., Reiter, S. R. y Lindsey, R. A. (2017). Adolescent social media use and mental health from adolescent and parent perspectives. Journal of Adolescence, 61(1), 1–11. https://doi.org/10.1016/j.adolescence.2017.08.005

Berástegui Martínez, Y. (2016). Evaluación del desarrollo de la educación emocional en un centro educativo [Tesis doctoral]. Universidad del País Vasco. https://bit.ly/3zzZ7Dp

Carbonell, J. (2001). La aventura de innovar. El cambio en la escuela. Morata.

Deci, E. L. y Ryan, R. M. (1985). Conceptualizations of intrinsic motivation and self-determination. En Intrinsic motivation and self-determination in human behavior (pp. 11-40). Plenun Press. https://doi.org/10.1007/978-1-4899-2271-7_2

Domitrovich, C. E., Bradshaw, C. P., Poduska, J. M., Hoagwood, K., Buckley, J. A., Olin, S., Hunter Romanelli, L., Leaf, P. J., Greenber, M. T e Ialongo, N. S. (2008). Maximizing the implementation quality of evidence-based preventive interventions in schools: A conceptual framework. Advances in School Mental Health Promotion, 1(3), 6–28. https://doi.org/10.1080/1754730x.2008.9715730

Dowling, K. y Barry, M. M. (2020). The effects of implementation quality of a school-based social and emotional well-being program on students’ outcomes. European Journal of Investigation in Health, Psychology and Education, 10(2), 595–614. https://doi.org/10.3390/ejihpe10020044

Durlak, J. A. (2016). Programme implementation in social and emotional learning: Basic issues and research findings. Cambridge Journal of Education, 46(3), 333–345. https://doi.org/10.1080/0305764x.2016.1142504

Durlak, J. A., Weissberg, R. P., Dymnicki, A. B., Taylor, R. D., y Schellinger, K. B. (2011). The impact of enhancing students’ social and emotional learning: A meta-analysis of school-based universal interventions. Child Development, 82(1), 405-432. https://doi.org/10.1111/j.1467-8624.2010.01564.x

Durlak, J. A. y Dupre, E. P. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41(3-4), 327-350. https://doi.org/10.1007/s10464-008-9165-0

Escobar-Pérez, J. y Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: Una aproximación a su utilización. Avances en Medición, 6(1), 27-36. https://www.researchgate.net/publication/302438451_Validez_de_contenido_y_juicio_de_expertos_Una_aproximacion_a_su_utilizacion

Goldberg, J. M., Sklad, M., Elfrink, T. R., Schreurs, K. M. G., Bohlmeijer, E. T. y Clarke, A. M. (2019). Effectiveness of interventions adopting a whole school approach to enhancing social and emotional development: A meta-analysis. European Journal of Psychology of Education, 34(4), 755-782. https://doi.org/10.1007/s10212-018-0406-9

Hargreaves, A. y Fink, D. (2006). Estrategias de cambio y mejora en educación caracterizadas por su relevancia, difusión y continuidad en el tiempo. Revista de Educación, (339), 43-58. http://bitly.ws/eX8R

Hernández Sampieri, Fernández Collado, C. y Baptista Lucio, M. del P. (2014). Metodología de la investigación (6.ª ed.). McGraw-Hill.

Long, T., Logan, J. y Waugh, M. (2016). Students’ perceptions of the value of using videos as a pre-class learning experience in the flipped classroom. TechTrends, 60(3), 245-252. https://doi.org/10.1007/s11528-016-0045-4

Matas Terrón, A., Tójar Hurtado, J. C. y Serrano Angulo, J. (2004). Innovación educativa: Un estudio de los cambios diferenciales entre el profesorado de la Universidad de Málaga. Revista Electrónica de Investigación Educativa, 6(1), 1-21. http://bitly.ws/eXbM

Oberle, E. y Schonert-Reichl, K. A. (2016). Stress contagion in the classroom? The link between classroom teacher burnout and morning cortisol in elementary school students. Social Science & Medicine, 159, 30-37. https://doi.org/10.1016/j.socscimed.2016.04.031

Organización para la Cooperación y Desarrollo Económico. (2017). Panorama de la educación 2017: Indicadores de la OCDE. Fundación Santillana. https://doi.org/10.1787/eag-2017-es

Organización para la Cooperación y Desarrollo Económico (2020). Panorama de la educación. Indicadores de la OCDE 2020. Informe español. Secretaría General Técnica. http://bitly.ws/eXdE

Pedrosa, I., Suárez-Álvarez, J. y García-Cueto, E. (2013). Evidencias sobre la validez de contenido: Avances teóricos y métodos para su estimación Acción Psicológica, 10(2), 3-18. https://dx.doi.org/10.5944/ap.10.2.11820

Peterson, J. B. (2018). 12 reglas para vivir: Un antídoto para el caos. Editorial Planeta.

Ruiz Quiles, M. (2015) Soporte de autonomía y motivación en educación consecuencias a nivel contextual y global [Tesis doctoral]. Universidad Miguel Hernández de Elche. https://bit.ly/36Y8EIg

Ryan, R. M. y Deci, E. L. (2017). Self-determination theory. Basic psychological needs in motivation, development, and wellness. Guilford Publications.

Schmidt, R. C. (1997). Managing Delphi Surveys Using Nonparametric Statistical Techniques. Decision Sciences, 28(3), 763-774. https://doi.org/10.1111/j.1540-5915.1997.tb01330.x

Sireci, S. y Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100-107. https://doi.org/10.7334/psicothema2013.256

Sireci, S. y Padilla, J.-L. (2014). Validating assessments: Introduction to the special section. Psicothema, 26(1), 97-99. https://doi.org/10.7334/psicothema2013.255

Zaltman, G. y Duncan, R. (1977) Strategies for planned change. Wiley. https://doi.org/10.2307/2065898

Published
2022-08-22
How to Cite
Yunta-Ibarrondo, M., & Romero-Pérez, C. (2022). Validity of a Content-Judged Instrument About the Implementation of Emotional Education Projects. Revista Electrónica Educare, 26(3), 1-15. https://doi.org/10.15359/ree.26-3.13

Comentarios (ver términos de uso)