Problemas de validez y fiabilidad en los cuestionarios ROSE: revisión sistemática de la producción española

Contenido principal del artículo

Radu Bogdan Toma
http://orcid.org/0000-0003-4846-7323

Resumen

Los cuestionarios ROSE ocupan un lugar destacado en la investigación relacionada con las actitudes hacia la ciencia, sin embargo, su análisis psicométrico en población de habla hispana ha sido descuidado. Esta revisión sistemática recopila estudios que han empleado los instrumentos ROSE y presenta un análisis de sus evidencias psicométricas. Los hallazgos revelan lagunas en términos de validez y fiabilidad. Concretamente, los resultados de validez estructural y fiabilidad documentados en la bibliografía son poco satisfactorios, insuficientes y contradictorios. Asimismo, existe una ausencia de aporte de evidencias fundamentales de validez (validez convergente, discriminante, concurrente y predictiva) y de fiabilidad test-retest (estabilidad temporal). Por lo tanto, la calidad psicométrica de los cuestionarios ROSE es preocupante y se desconoce en qué medida evalúan adecuadamente las actitudes hacia la ciencia.


Palabras clave: Actitudes hacia la ciencia; imagen de la ciencia; ciencia escolar; ciencia y tecnología; educación científica.


Validity and reliability issues in the ROSE questionnaires: A systematic review of Spanish literature


Abstract: The ROSE questionnaires stand out in research related to attitudes towards science; however, its psychometric analysis in the Spanish-speaking population has been neglected. This systematic review compiles research that used the ROSE instruments and provides an analysis of their psychometric evidence. The findings reveal gaps in terms of validity and reliability evidence. In particular, the results of structural validity and reliability documented in the literature are unsatisfactory, insufficient, and contradictory. Furthermore, fundamental psychometric properties are absent, such as convergent, discriminant, concurrent, and predictive validity; no evidence of temporal stability reliability was found neither. Therefore, the psychometric quality of the ROSE questionnaires is of concern and the extent to which they adequately measure attitudes towards science is unknown.


Keywords: Attitudes toward science; image of Science; school science; science and technology; science education.

Palabras clave
Actitudes hacia la ciencia, Imagen de la ciencia, Ciencia escolar, Ciencia y tecnología, educación científica,

Descargas

Los datos de descargas todavía no están disponibles.

Detalles del artículo

Sección
Fundamentos y líneas de trabajo
Biografía del autor/a

Radu Bogdan Toma, Universidad de Burgos

Universidad de Burgos, Facultad de Educación.

Departamento de Didácticas Específicas, Área de Didáctica de las Ciencias Experimentales

Citas

El asterisco (*) refiere a los estudios recuperados en esta revisión sistemática.

AERA, APA, NCME. (2014) Standards for educational and psychological testing. Washington, DC: AERA.

Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50 (2), 179–211.

Besley J. C. (2016) The National Science Foundation’s science and technology survey and support for science funding, 2006–2014. Public Understanding of Science, 27, 94–109.

Blalock, C. L., Lichtenstein, M. J., Owen, S., Pruski, L., Marshall, C., Toepperwein, M. A. (2008) In pursuit of validity: A comprehensive review of science attitude instruments 1935-2005. International Journal of Science Education, 30 (7), 961–977. https://doi.org/10.1080/09500690701344578

*Dapía, M., Escudero-Cid, R., Vidal, M. (2019) ¿Tiene género la ciencia? Conocimientos y actitudes hacia la Ciencia en niñas y niños de Educación Primaria. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 16 (3), 3201.
https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2019.v16.i3.3302

DeVellis, R. F. (2017) Scale development. Theory and applications. Los Angeles: SAGE.

DeWitt, J., Archer, L. (2015) Who aspires to a science career? A comparison of survey responses from primary and secondary school students. International Journal of Science Education, 37 (13), 2170-2192. https://doi.org/10.1080/09500693.2015.1071899

Eagly, A. H., Chaiken, S. (1995) Attitude strength, attitude structure, and resistance to change. En R. E. Petty y J. A. Krosnich (Eds.), Ogio State University series on attitudes and persuasion, Vol. 4. Attitude strength: Antecedents and consequences (pp. 413–432). New York: Lawrence Erlbaum Associates, Inc.

*Fernández-Cézar, R., Pinto-Solano, N. (2017) Actitud hacia las clases de ciencias naturales en la educación primaria en España. Revista Electrónica de Investigación Educativa, 19 (4), 112–123. https://doi.org/10.24320/redie.2017.19.4.1393

*Fernández-Cézar, R., Pinto-Solano, N., Muñoz-Hernández, M. (2018) ¿Mejoran los proyectos de divulgación con experimentación la actitud hacia las clases de ciencias? Revista de Educación, 381, 285–307. https://doi.org/10.4438/1988-592X-RE-2017-381-389

Kennedy, J. P., Lyons, T., Quinn, F. (2014) The continuing decline of science and mathematics enrolments in Australian high schools. Teaching Science, 60 (2), 34–46.

Khine, S. M. (2015) Attitude measurements in science education: Classic and contemporary approaches. Charlotte, NC: Information Age Publishing, INC.

*Marbá-Tallada, A., Márquez, B. C. (2010) ¿Qué opinan los estudiantes de las clases de ciencias? Un estudio transversal de sexto de primaria a cuarto de ESO. Enseñanza de Las Ciencias, 28 (1), 19–30.

*Mazas, B., Bravo Torija, B. (2018) Actitudes hacia la ciencia del profesorado en formación de educación infantil y educación primaria. Profesorado, Revista de Currículum y Formación Del Profesorado, 22 (2), 329–348. https://doi.org/10.30827/profesorado.v22i2.7726

Munby, H. (1983) Thirty studies involving the “Scientific Attitude Inventory”: What confidence can we have in this instrument? Journal of Research in Science Teaching, 20 (2), 141–162.

Navarro, M., Förster, C., González, C., González-Pose, P. (2016) Attitudes toward science: Measurement and psychometric properties of the test of science-related attitudes for its use in Spanish-speaking classrooms. International Journal of Science Education, 38 (9), 1459–1482. https://doi.org/10.1080/09500693.2016.1195521

Newell, A. D., Tharp, B. Z., Vogt, G. L., Moreno, N. P., Zientek, L. R. (2015) Students’ attitudes toward science as predictors of gains on student content knowledge: Benefits of an after-school program. School science and Mathematics, 115 (5), 216-225. https://doi.org/10.1111/ssm.12125

Petticrew, M., Roberts, R. (2006) Systematic reviews in the social sciences: A practical guide. Oxford: Blackwell.

*Queiruga-Dios, M. Á., López-Iñesta, E., Diez-Ojeda, M., Sáiz-Manzanares, M. C., Dorrío, J. B. V. (2020) Citizen science for scientific literacy and the attainment of sustainable development goals in formal education. Sustainability, 12 (10), 4283. https://doi.org/10.3390/su12104283

Reid, N. (2015) Attitude research in science education. En M.S. Khine (ed.), Attitude measurements in science education. Classic and contemporary approaches (pp. 3-46). Charlotte, NC: Information Age Publishing, INC

Schreiner, C., Sjøberg, S. (2004) ROSE: The Relevance of Science Education. Sowing the seeds of Rose. Background, rationale, questionnaire development and data collection for ROSE (The Relevance of Science Education) - a comparative study of students’ views of science and science education. Oslo: Acta Didactica.

Summers, R., Abd-El-Khalick, F. (2018) Development and validation of an instrument to assess student attitudes toward science across grades 5 through 10. Journal of Research in Science Teaching, 55 (2), 172–205. https://doi.org/10.1002/tea.21416

Taber, K. S. (2018) The use of Cronbach’s Alpha when developing and reporting research instruments in science education. Research in Science Education, 48 (6), 1273–1296. https://doi.org/10.1007/s11165-016-9602-2

Tavakol, M., Dennick, R. (2011) Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd

Toma, R. B. (2020) Revisión sistemática de instrumentos de actitudes hacia la ciencia (2004-2016). Enseñanza de las Ciencias, 38 (3), 143-159. https://doi.org/10.5565/rev/ensciencias.2854

Toma, R. B., Lederman, N. G. (2020) A comprehensive review of instruments measuring attitudes toward science. Research in Science Education. https://doi.org/10.1007/s11165-020-09967-1

Toma, R. B., Meneses-Villagrá, J. A. (2019). Validation of the single-items Spanish-school science attitude survey (S-SSAS) for elementary education. PLoS ONE, 14 (1), e0209027. https://doi.org/10.1371/journal.pone.0209027

Trochim, W. M., Donnelly, J. P. (2006) The research methods knowledge base. Cincinnati: Atomic Dog Publishing Inc.

Tytler, R., Osborne, J. (2012) Student attitudes and aspirations towards science. En B. J. Fraser, K. G. Tobin, y C. J. McRobbie (Eds.), Second International Handbook of Science Education (pp. 597-625). Netherland: Springer.

Tytler, R. (2014) Attitudes, identity, and aspirations toward science. En N. G. Lederman y S. K. Abell (Eds.), Handbook of research on science education, II Edition (pp. 82-103). New York: Routledge.

*Vázquez, A., Manassero, M. A. (2004) Imagen de la ciencia y la tecnología al final de la educación obligatoria. Cultura y Educación, 16 (4), 385–398.

*Vázquez, A., Manassero, M. A. (2005) La ciencia escolar vista por los estudiantes. Bordón. Revista de Pedagogía, 57 (5), 125–144.

*Vázquez, A., Manassero, M. A. (2008a) El declive de las actitudes hacia la ciencia de los estudiantes: un indicador inquietante para la educación científica. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 5 (3), 274–292.
https://doi.org/10.25267/rev_eureka_ensen_divulg_cienc.2008.v5.i3.03

*Vázquez, A., Manassero, M. A. (2008b) La vocación científica y tecnológica de las chicas en secundaria y la educación diferenciada. Bordón. Revista de Pedagogía, 60 (3), 149–163.

*Vázquez, A., Manassero, M. A. (2009a) Factores actitudinales determinantes de la vocación científica y tecnológica en secundaria. Cultura y Educación, 21 (3), 319–330. https://doi.org/10.1174/113564009789052280

*Vázquez, A., Manassero, M. A. (2009b) La relevancia de la educación científica: actitudes y valores de los estudiantes relacionados con la Ciencia y la Tecnología. Enseñanza de Las Ciencias, 27 (1), 33–48.

*Vázquez, A., Manassero, M. A. (2009c) La vocación científica y tecnológica: predictores actitudinales significativos. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 6 (2), 213–231. https://doi.org/10.25267/rev_eureka_ensen_divulg_cienc.2009.v6.i2.03

*Vázquez, A., Manassero, M. A. (2009d) Patrones actitudinales de la vocación científica y tecnológica en chicas y chicos de secundaria. Revista Iberoamericana de Educación, 50 (4), 1–15.

*Vázquez, A., Manassero, M. A. (2010) Perfiles actitudinales de la elección de ciencias en secundaria según el sexo y el tipo de educación. Revista Electrónica de Enseñanza de Las Ciencias, 9 (1), 242–260.

*Vázquez, A., Manassero, M. A. (2011) El descenso de las actitudes hacia la ciencia de chicos y chicas en la Educación Obligatoria. Ciência & Educação, 17 (2), 249–268.

Viladrich, C., Angulo-Brunet, A., Doval, E. (2017) Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna. Anales de Psicología, 33(3), 755-782. http://dx.doi.org/10.6018/analesps.33.3.268401

Wang, T., Berlin, D. (2010) Construction and validation of an instrument to measure Taiwanese elementary students’ attitudes toward their science class. International Journal of Science
Education, 32 (18), 2413–2428. https://doi.org/10.1080/09500690903431561

Watkins, M. W. (2017) The reliability of multidimensional neuropsychological measures: From alpha to omega. The clinical neuropsychologist, 31(6-7), 1113-1126. http://dx.doi.org/10.1080/13854046.2017.1317364