Validity and reliability issues in the ROSE questionnaires: A systematic review of Spanish literature
Downloads
- PDF (Español (España)) 1104
- EPUB (Español (España)) 161
- VISOR (Español (España))
- MÓVIL (Español (España))
- XML (Español (España)) 161
DOI
https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2021.v18.i3.3102Info
Authors
- Radu Bogdan Toma (ES) Universidad de Burgos http://orcid.org/0000-0003-4846-7323
Abstract
Los cuestionarios ROSE ocupan un lugar destacado en la investigación relacionada con las actitudes hacia la ciencia, sin embargo, su análisis psicométrico en población de habla hispana ha sido descuidado. Esta revisión sistemática recopila estudios que han empleado los instrumentos ROSE y presenta un análisis de sus evidencias psicométricas. Los hallazgos revelan lagunas en términos de validez y fiabilidad. Concretamente, los resultados de validez estructural y fiabilidad documentados en la bibliografía son poco satisfactorios, insuficientes y contradictorios. Asimismo, existe una ausencia de aporte de evidencias fundamentales de validez (validez convergente, discriminante, concurrente y predictiva) y de fiabilidad test-retest (estabilidad temporal). Por lo tanto, la calidad psicométrica de los cuestionarios ROSE es preocupante y se desconoce en qué medida evalúan adecuadamente las actitudes hacia la ciencia.
Palabras clave: Actitudes hacia la ciencia; imagen de la ciencia; ciencia escolar; ciencia y tecnología; educación científica.
Validity and reliability issues in the ROSE questionnaires: A systematic review of Spanish literature
Abstract: The ROSE questionnaires stand out in research related to attitudes towards science; however, its psychometric analysis in the Spanish-speaking population has been neglected. This systematic review compiles research that used the ROSE instruments and provides an analysis of their psychometric evidence. The findings reveal gaps in terms of validity and reliability evidence. In particular, the results of structural validity and reliability documented in the literature are unsatisfactory, insufficient, and contradictory. Furthermore, fundamental psychometric properties are absent, such as convergent, discriminant, concurrent, and predictive validity; no evidence of temporal stability reliability was found neither. Therefore, the psychometric quality of the ROSE questionnaires is of concern and the extent to which they adequately measure attitudes towards science is unknown.
Keywords: Attitudes toward science; image of Science; school science; science and technology; science education.
Keywords
Downloads
License
Copyright (c) 2021 Radu Bogdan Toma
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Require authors to agree to Copyright Notice as part of the submission process. This allow the / o authors / is non-commercial use of the work, including the right to place it in an open access archive. In addition, Creative Commons is available on flexible copyright licenses (Creative Commons).
Reconocimiento-NoComercial
CC BY-NC
References
El asterisco (*) refiere a los estudios recuperados en esta revisión sistemática.
AERA, APA, NCME. (2014) Standards for educational and psychological testing. Washington, DC: AERA.
Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50 (2), 179–211.
Besley J. C. (2016) The National Science Foundation’s science and technology survey and support for science funding, 2006–2014. Public Understanding of Science, 27, 94–109.
Blalock, C. L., Lichtenstein, M. J., Owen, S., Pruski, L., Marshall, C., Toepperwein, M. A. (2008) In pursuit of validity: A comprehensive review of science attitude instruments 1935-2005. International Journal of Science Education, 30 (7), 961–977. https://doi.org/10.1080/09500690701344578
*Dapía, M., Escudero-Cid, R., Vidal, M. (2019) ¿Tiene género la ciencia? Conocimientos y actitudes hacia la Ciencia en niñas y niños de Educación Primaria. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 16 (3), 3201.
https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2019.v16.i3.3302
DeVellis, R. F. (2017) Scale development. Theory and applications. Los Angeles: SAGE.
DeWitt, J., Archer, L. (2015) Who aspires to a science career? A comparison of survey responses from primary and secondary school students. International Journal of Science Education, 37 (13), 2170-2192. https://doi.org/10.1080/09500693.2015.1071899
Eagly, A. H., Chaiken, S. (1995) Attitude strength, attitude structure, and resistance to change. En R. E. Petty y J. A. Krosnich (Eds.), Ogio State University series on attitudes and persuasion, Vol. 4. Attitude strength: Antecedents and consequences (pp. 413–432). New York: Lawrence Erlbaum Associates, Inc.
*Fernández-Cézar, R., Pinto-Solano, N. (2017) Actitud hacia las clases de ciencias naturales en la educación primaria en España. Revista Electrónica de Investigación Educativa, 19 (4), 112–123. https://doi.org/10.24320/redie.2017.19.4.1393
*Fernández-Cézar, R., Pinto-Solano, N., Muñoz-Hernández, M. (2018) ¿Mejoran los proyectos de divulgación con experimentación la actitud hacia las clases de ciencias? Revista de Educación, 381, 285–307. https://doi.org/10.4438/1988-592X-RE-2017-381-389
Kennedy, J. P., Lyons, T., Quinn, F. (2014) The continuing decline of science and mathematics enrolments in Australian high schools. Teaching Science, 60 (2), 34–46.
Khine, S. M. (2015) Attitude measurements in science education: Classic and contemporary approaches. Charlotte, NC: Information Age Publishing, INC.
*Marbá-Tallada, A., Márquez, B. C. (2010) ¿Qué opinan los estudiantes de las clases de ciencias? Un estudio transversal de sexto de primaria a cuarto de ESO. Enseñanza de Las Ciencias, 28 (1), 19–30.
*Mazas, B., Bravo Torija, B. (2018) Actitudes hacia la ciencia del profesorado en formación de educación infantil y educación primaria. Profesorado, Revista de Currículum y Formación Del Profesorado, 22 (2), 329–348. https://doi.org/10.30827/profesorado.v22i2.7726
Munby, H. (1983) Thirty studies involving the “Scientific Attitude Inventory”: What confidence can we have in this instrument? Journal of Research in Science Teaching, 20 (2), 141–162.
Navarro, M., Förster, C., González, C., González-Pose, P. (2016) Attitudes toward science: Measurement and psychometric properties of the test of science-related attitudes for its use in Spanish-speaking classrooms. International Journal of Science Education, 38 (9), 1459–1482. https://doi.org/10.1080/09500693.2016.1195521
Newell, A. D., Tharp, B. Z., Vogt, G. L., Moreno, N. P., Zientek, L. R. (2015) Students’ attitudes toward science as predictors of gains on student content knowledge: Benefits of an after-school program. School science and Mathematics, 115 (5), 216-225. https://doi.org/10.1111/ssm.12125
Petticrew, M., Roberts, R. (2006) Systematic reviews in the social sciences: A practical guide. Oxford: Blackwell.
*Queiruga-Dios, M. Á., López-Iñesta, E., Diez-Ojeda, M., Sáiz-Manzanares, M. C., Dorrío, J. B. V. (2020) Citizen science for scientific literacy and the attainment of sustainable development goals in formal education. Sustainability, 12 (10), 4283. https://doi.org/10.3390/su12104283
Reid, N. (2015) Attitude research in science education. En M.S. Khine (ed.), Attitude measurements in science education. Classic and contemporary approaches (pp. 3-46). Charlotte, NC: Information Age Publishing, INC
Schreiner, C., Sjøberg, S. (2004) ROSE: The Relevance of Science Education. Sowing the seeds of Rose. Background, rationale, questionnaire development and data collection for ROSE (The Relevance of Science Education) - a comparative study of students’ views of science and science education. Oslo: Acta Didactica.
Summers, R., Abd-El-Khalick, F. (2018) Development and validation of an instrument to assess student attitudes toward science across grades 5 through 10. Journal of Research in Science Teaching, 55 (2), 172–205. https://doi.org/10.1002/tea.21416
Taber, K. S. (2018) The use of Cronbach’s Alpha when developing and reporting research instruments in science education. Research in Science Education, 48 (6), 1273–1296. https://doi.org/10.1007/s11165-016-9602-2
Tavakol, M., Dennick, R. (2011) Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd
Toma, R. B. (2020) Revisión sistemática de instrumentos de actitudes hacia la ciencia (2004-2016). Enseñanza de las Ciencias, 38 (3), 143-159. https://doi.org/10.5565/rev/ensciencias.2854
Toma, R. B., Lederman, N. G. (2020) A comprehensive review of instruments measuring attitudes toward science. Research in Science Education. https://doi.org/10.1007/s11165-020-09967-1
Toma, R. B., Meneses-Villagrá, J. A. (2019). Validation of the single-items Spanish-school science attitude survey (S-SSAS) for elementary education. PLoS ONE, 14 (1), e0209027. https://doi.org/10.1371/journal.pone.0209027
Trochim, W. M., Donnelly, J. P. (2006) The research methods knowledge base. Cincinnati: Atomic Dog Publishing Inc.
Tytler, R., Osborne, J. (2012) Student attitudes and aspirations towards science. En B. J. Fraser, K. G. Tobin, y C. J. McRobbie (Eds.), Second International Handbook of Science Education (pp. 597-625). Netherland: Springer.
Tytler, R. (2014) Attitudes, identity, and aspirations toward science. En N. G. Lederman y S. K. Abell (Eds.), Handbook of research on science education, II Edition (pp. 82-103). New York: Routledge.
*Vázquez, A., Manassero, M. A. (2004) Imagen de la ciencia y la tecnología al final de la educación obligatoria. Cultura y Educación, 16 (4), 385–398.
*Vázquez, A., Manassero, M. A. (2005) La ciencia escolar vista por los estudiantes. Bordón. Revista de Pedagogía, 57 (5), 125–144.
*Vázquez, A., Manassero, M. A. (2008a) El declive de las actitudes hacia la ciencia de los estudiantes: un indicador inquietante para la educación científica. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 5 (3), 274–292.
https://doi.org/10.25267/rev_eureka_ensen_divulg_cienc.2008.v5.i3.03
*Vázquez, A., Manassero, M. A. (2008b) La vocación científica y tecnológica de las chicas en secundaria y la educación diferenciada. Bordón. Revista de Pedagogía, 60 (3), 149–163.
*Vázquez, A., Manassero, M. A. (2009a) Factores actitudinales determinantes de la vocación científica y tecnológica en secundaria. Cultura y Educación, 21 (3), 319–330. https://doi.org/10.1174/113564009789052280
*Vázquez, A., Manassero, M. A. (2009b) La relevancia de la educación científica: actitudes y valores de los estudiantes relacionados con la Ciencia y la Tecnología. Enseñanza de Las Ciencias, 27 (1), 33–48.
*Vázquez, A., Manassero, M. A. (2009c) La vocación científica y tecnológica: predictores actitudinales significativos. Revista Eureka Sobre Enseñanza y Divulgación de Las Ciencias, 6 (2), 213–231. https://doi.org/10.25267/rev_eureka_ensen_divulg_cienc.2009.v6.i2.03
*Vázquez, A., Manassero, M. A. (2009d) Patrones actitudinales de la vocación científica y tecnológica en chicas y chicos de secundaria. Revista Iberoamericana de Educación, 50 (4), 1–15.
*Vázquez, A., Manassero, M. A. (2010) Perfiles actitudinales de la elección de ciencias en secundaria según el sexo y el tipo de educación. Revista Electrónica de Enseñanza de Las Ciencias, 9 (1), 242–260.
*Vázquez, A., Manassero, M. A. (2011) El descenso de las actitudes hacia la ciencia de chicos y chicas en la Educación Obligatoria. Ciência & Educação, 17 (2), 249–268.
Viladrich, C., Angulo-Brunet, A., Doval, E. (2017) Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna. Anales de Psicología, 33(3), 755-782. http://dx.doi.org/10.6018/analesps.33.3.268401
Wang, T., Berlin, D. (2010) Construction and validation of an instrument to measure Taiwanese elementary students’ attitudes toward their science class. International Journal of Science
Education, 32 (18), 2413–2428. https://doi.org/10.1080/09500690903431561
Watkins, M. W. (2017) The reliability of multidimensional neuropsychological measures: From alpha to omega. The clinical neuropsychologist, 31(6-7), 1113-1126. http://dx.doi.org/10.1080/13854046.2017.1317364