Secciones
Referencias
Resumen
Servicios
Descargas
HTML
ePub
PDF
Buscar
Fuente


Relación entre creencias sobre resolución de problemas, creencias epistemológicas, nivel académico, sexo y desempeño en resolución de problemas: un estudio en educación secundaria
The relationship among beliefs about problem solving, epistemological beliefs, grade level, sex, and problem solving achievement: A study in secondary school
Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, vol. 17, núm. 1, pp. 110201-110217, 2020
Universidad de Cádiz

Fundamentos y líneas de trabajo



Recepción: 24 Septiembre 2019

Revisado: 26 Diciembre 2019

Aprobación: 27 Diciembre 2019

DOI: https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2020.v17.i1.1102

Resumen: El primer objetivo de este trabajo fue estudiar los efectos del nivel académico y del sexo sobre las creencias epistemológicas y sobre resolución de problemas de los estudiantes de educación secundaria. El segundo objetivo fue analizar la contribución de ambos sistemas de creencias, del nivel académico y del sexo sobre el desempeño en la resolución de problemas. Han participado 144 estudiantes de 3º de ESO y de 1º de Bachillerato, que han cumplimentado los cuestionarios de Schommer y de Stage-Kloosterman. Además, se les ha administrado una prueba de resolución de problemas, con dos problemas PISA. A partir de los datos obtenidos, y realizados dos test ANOVA y un ANCOVA, junto con un análisis de regresión múltiple, se puede concluir que: a) A mayor nivel académico de los estudiantes de secundaria más adecuadas son las creencias epistemológicas y sobre resolución de problemas; b) El sexo de los estudiantes tiene una influencia significativa sobre las creencias epistemológicas pero no la tiene sobre las creencias sobre resolución de problemas; y c) El desempeño de los estudiantes en la resolución de problemas depende del nivel académico y de sus creencias sobre resolución de problemas, y estas creencias dependen, a su vez, del conjunto de creencias epistemológicas de los estudiantes.

Palabras clave: Creencias epistemológicas, creencias sobre resolución de problemas, nivel en la educación secundaria, sexo, resolución de problemas.

Abstract: The first purpuse of this investigation was to study the effects of sex and grade level on secondary students’ beliefs about epistemology and problem solving. The second purpuse was to analyze the contribution of both belief systems, grade level, and sex to problem solving achievement. One hundred and forty-four High School students, 9th and 11th grade students, took part in the study. Two questionnaires (Schommer and Stage- Kloosterman’s questionnaires) and a problem solving test (two word problems of the PISA tests) were administered to these students. Two ANOVAs, an ANCOVA, and a multiple regression analysis were carried out from data obtained in the investigation. In the light of the foregoing, it can be concluded that: a) The higher is the grade level of secondary students, the more appropriate are beliefs about epistemology and problem solving; b) Students’ sex has a significant influence on epistemological beliefs, but not on beliefs about problem solving; and c) Students’ problem solving achievement depends on grade level and their beliefs about problem solving, and these beliefs are themselves dependent on students’ epistemological beliefs.

Keywords: Epistemological beliefs, beliefs about problem solving, grade level, sex, problem solving.

Introducción

Las creencias epistemológicas están relacionadas con las ideas sobre la naturaleza del conocimiento y pueden incluir creencias sobre la veracidad, las fuentes, la justificación, la adquisición o la estructura del conocimiento (Duell y Schommer-Aikins, 2001). Sin embargo, como apuntan Stathopoulou y Vosniadou (2007a), pueden encontrarse en la literatura diversos enfoques y denominaciones para el constructo que comúnmente llamamos creencias epistemológicas. Estas autoras afirman que, en cualquier caso, puede admitirse que la “epistemología personal” se forma a partir de un limitado y coherente conjunto de creencias que buscan interpretar la naturaleza del conocimiento y los procesos de su formación, y cuyos fundamentos radican en las experiencias iniciales desde niños y la información/formación recibida.

La resolución de problemas ocupa un lugar preeminente en las actividades de aprendizaje, especialmente en ciencias y matemáticas y, por ello, muchos investigadores han puesto su punto de mira en esta actividad (Castro, 2008; Gómez-Ferragud, Solaz-Portolés, y Sanjosé, 2015; Guirado, Mazzitelli, y Maturano, 2013; Martínez-Aznar, Rodríguez-Arteche, y Gómez-Lesarri, 2017; Perales, 2006; Villagrán, Guzmán, Pavón, y Cuevas, 2002). Schoenfeld (1983) fue uno de los primeros investigadores que entrevió que la resolución de problemas no puede ser vista únicamente desde un óptica exclusivamente cognitiva. De hecho, este autor planteó la existencia de un sistema de creencias que orienta las acciones que se ejecutan durante la resolución de problemas. Años más tarde, las investigaciones sobre resolución de problemas empezaron a explorar nuevos factores más allá de los puramente cognitivos. En este sentido, Taylor y Dionne (2000) afirmaron que los procesos de resolución de problemas resultan de una compleja interacción entre el conocimiento base, las estrategias cognitivas y metacognitivas, las experiencias previas, los sistemas de creencias y los factores sociales.

Según Jonassen (2000) la resolución de un problema comporta una de serie de fases en las que la habilidad para realizarlas depende parcialmente de las creeencias epistemológicas. Concretamente, diversos estudios han corrobado que las creencias epistemológicas afectan a los distintos procesos que se llevan a cabo durante la resolución de problemas (Douglas, Koro-Ljungberg, McNeill, Malcolm, y Therriault, 2012; King y Kitchener, 1994; Schraw, Dunkle, y Bendixen, 1995). También es destacable el estudio de Bodin y Winberg (2012) donde se resalta la relevancia de las creeencias epistemológicas sobre la física y su aprendizaje como predictoras de éxito en la resolución de problemas de física.

Hay pocos estudios donde se analizen las creencias de los estudiantes sobre la resolución de problemas y sus efectos en la propia resolución de problemas. De hecho, el primer instrumento validado sobre estas creencias fue elaborado por Stage y Kloosterman (1992) específicamente para problemas de matemáticas. Dicho instrumento consta originariamente de cinco escalas o factores relacionados con: tiempo para resolver, procedimiento de resolución, importancia de los conceptos, importancia de la resolución de problemas, relación entre esfuerzo y éxito. Posteriormente se añadió otra: matemáticas y vida cotidiana. Dicho instrumento ha sido aplicado en las investigaciones cuantitativas de Mason (2003) y Schommer-Aikins, Duell y Hutter (2005). En ambos casos las creencias sobre resolución de problemas de estudiantes de secundaria (italianos en el primer caso, norteamericanos en el segundo) predijeron el desempeño en la resolución de problemas de matemáticas.

Así pues, ha quedado patente el importante papel que pueden desempeñar las creencias epistemológicas y sobre resolución de problemas en los procesos de resolución de problemas. En el presente estudio se pretenden estudiar las creencias epistemológicas y sobre resolución de problemas de estudiantes de secundaria y su influencia sobre el éxito en la resolución de problemas. Concretamente, se quieren analizar:

  1. 1. Los efectos del nivel académico y del género sobre ambos sistemas de creencias
  2. 2. La contribución de ambos sistemas de creencias, del nivel académico y del género sobre el éxito en la resolución de problemas.

Marco teórico

Schommer (1990 y 1994) planteó un modelo del constructo creencias epistemológicas en el que se defiende que los estudiantes poseen creencias múltiples sobre la naturaleza del conocimiento y del aprendizaje, y que éstas constituyen un sistema multidimensional de creencias independientes. En concreto, propuso cuatro dimensiones de creencias epistemológicas: estructura del conocimiento, estabilidad del conocimiento, ritmo de aprendizaje y habilidad para aprender. Este investigador desarrolló, bajo estas premisas, un cuestionario que acabó confirmando el modelo multidimensional de las creencias epistemológicas (Schommer, 1993; Schommer-Aikins y Hutter, 2002; Schommer-Aikins et al., 2005).

En cuanto al papel de las creencias epistemológicas en el aprendizaje, Stathopoulou y Vosniadou (2007b) constataron su influencia en la comprensión de la física. De las importantes conexiones existentes entre las creencias epistemológicas de los estudiantes y su rendimiento en el aprendizaje da cuenta el trabajo de Hofer y Bendixen (2012). En particular, en este trabajo se recopilan las investigaciones que evidencian la influencia de dichas creencias sobre: el cambio conceptual, la motivación, la metacognición, las emociones y la destrezas argumentativas. De hecho, algunos investigadores (Bråten y Strømsø, 2005; Hofer, 2002) han intentado encajar las creencias epistemológicas dentro de los esquemas del aprendizaje autorregulado. Así, en opinión de Pintrich (2002) estas creencias pueden guiar la selección de estrategias de autorregulación y proporcionar metas en el aprendizaje académico.

En el trabajo de Phan (2008) se obtuvieron evidencias empíricas de que tanto los diferentes modos de enfocar el aprendizaje como las creencias epistemólogicas forman parte de los esquemas de autorregulación del aprendizaje de los estudiantes. En esta misma línia, Pulmones (2010) comprobó que las creencias epistemológicas influyen de forma significativa en las estrategias metacognitivas. En consecuencia, no es de extrañar que tanto la metacognición como las creencias epistemológicas, en calidad de componentes del aprendizaje autorregulado, hayan sido centro de atención para poder interpretar mejor el desempeño de los estudiante durante el aprendizaje (Bråten y Strømsø, 2005; Sperling, Howard, Miller, y Murphy, 2002). Precisamente, Topçu y Yılmaz-Tüzün (2009) analizaron la contribución de ambas variables en el aprendizaje de las ciencias. Se concluye en dicho trabajo que ambas variables tienen una aportación significativa en el rendimiento en el aprendizaje.

En las investigaciones de McNeill, Douglas, Koro‐Ljungberg, Therriault y Krause (2016) y de Ozturk y Guven (2016) se estudian cualitativamente las creencias de los estudiantes sobre resolución de problemas. En la primera, se efectúan entrevistas a estudiantes de ingeniería durante la resolución de problemas y se identifican las creencias de los estudiantes sobre la resolución de problemas en el aula y los problemas reales, mostrándose que dichas creencias dependen del contexto del problema y guían los pasos que ejecutan en su resolución. En la segunda, se realizaron entrevistas a estudiantes de secundaria, observándose cómo las creencias afectaban a los procesos de resolución de problemas.

Tanto el trabajo de Cano (2005) como el de Conley, Pintrich, Vekiri y Harrison (2004) confirman que las creencias epistemológicas mejoran (esto es, pasan de más ingenuas a más sofisticadas) a medida que se avanza en los cursos académicos de la educación secundaria, al menos en algunos aspectos del sistema de creencias. Por su parte, Mason (2003) comprobó que la variable grado académico generó diferencias significativas en algunas creencias sobre resolución de problemas, es decir, que una parte del sistema de creencias sobre resolución de problemas progresaba de manera positiva a medida que aumenta el nivel académico.

En cuanto a la variable sexo, en los resultados obtenidos por Conley et al. (2004) dicha variable no mostró efectos estadísticamente significativos sobre las creencias epistemológicas de los estudiantes de secundaria. En este estudio las creencias epistemológicas estaban enfocadas específicamente hacia el conocimiento científico. En cambio, Cano (2005) detectó, en estudiantes de secundaria españoles, que las creencias epistemológicas de las chicas eran significativamente más realistas que las de los chicos en todos los niveles de la educación secundaria. En cuanto a las creencias sobre la resolución de problemas, Mason (2003) corroboró que el sexo no generó grandes diferencias, ya que únicamente en una escala de creencias aparecían diferencias significativas entre chicas y chicos (la chicas tenían creencias más correctas que los chicos).

Se han destacado diversos estudios que han puesto en evidencia el impacto positivo de unas adecuadas creencias epistemológicas sobre los procesos de resolución de problemas y, consecuentemente sobre el desempeño en la resolución (Bodin y Winberg, 2012; Douglas et al., 2012; King y Kitchener, 1994; Schraw et al., 1995). También se ha indicado ya que Mason (2003) encontró que las creencias sobre resolución de problemas pueden predecir el rendimiento en resolución de problemas. Por último, se ha de resaltar la investigación realizada por Schommer-Aikins et al., (2005) en la que se pusieron en juego simultáneamente las creencias epistemológicas y sobre resolución de problemas, y ambas se revelaron con una influencia significativa en el éxito de la resolución de los problemas.

En la revisión bibliográfica realizada por Zhu (2007) se recogen un buen número de investigaciones en las que aparecen diferencias de sexo en la resolución de problemas, concretamente los hombres parece que superan a las mujeres. Sirva como ejemplo de ello el trabajo de Gallagher, De Lisi, Holst, McGillicuddy-De Lisi, Morely, y Cahalan (2000), en el que los chicos superaron a las chicas en resolución de problemas complejos. Los autores localizaron las diferencias en la existencia de distinta “flexibilidad en las estrategias” en ambos sexos.

Sin embargo, estudios más recientes como el de Docktor y Heller (2008), donde se analizaron los resultados de 5500 estudiantes un curso de física universitario, constatan la inexistencia de diferencias significativas debidas al sexo en las pruebas finales (en las que hay resolución de problemas). Los metaanálisis efectuados por Hyde, Lindberg, Linn, Ellis y Williams (2008) y Lindberg, Hyde, Petersen y Linn (2010), con un gran abundancia de estudios y de estudiantes, confirman que mujeres y hombres tienen un desempeño muy parecido en pruebas de resolución de problemas. De acuerdo con Hyde y Mertz (2009) estos resultados permiten afirmar que la chicas han alcanzado la paridad con los chicos en la resolución de problemas. Con todo, Hyde et al. (2008) subrayan que los chicos hacen significativamente mejor los problemas complicados en los comienzos de la educación secundaria y que esta circunstancia puede ayudar a explicar la escasa presencia de mujeres en ciertas titulaciones del área STEM.

Destacables son las investigaciones de Battista (1990) y Pajares y Kranzler (1995). En la primera, el autor pone de relieve que las estudiantes tienen peor visualización espacial en la resolución de problemas, pero sus destrezas de razonamiento lógico y estrategias en la resolución de problemas no difieren de las de sus compañeros. En la segunda, en la que los autores llevaron a cabo un path analysis en el que se estudió la contribución de autoeficacia, habilidad mental general, ansiedad, género y nivel matemático al rendimiento en la resolución de problemas, no se observó una aportación muy relevante del sexo.

Hipótesis

Con este estudio se pretende dar un paso más respecto de trabajos anteriores en los que, o bien se han analizado por separado las creencias epistemológicas y las creencias sobre resolución de problemas, o bien se han investigado los efectos de ambas simultáneamente pero sólo con estudiantes de secundaria de 12-13 años. Teniendo presentes los objetivos de nuestro estudio y los resultados de las investigaciones anteriormente expuestas, las hipótesis que se formulan, referidas a estudiantes de educación secundaria y a las variables que se ponen en juego, son:

  • H1. A mayor nivel académico de los estudiantes más adecuadas (sofisticadas) serán las creencias epistemológicas y sobre resolución de problemas.

  • H2. El sexo de los estudiantes tendrá una influencia significativa sobre las creencias epistemológicas pero no la tendrá sobre las creencias sobre resolución de problemas. Esto es, la chicas tendrán unas creencias epistemológicas menos ingenuas que los chicos, pero este efecto no se observará en las creencias sobre resolución de problemas.

  • H3. El éxito de los estudiantes en la resolución de problemas dependerá fundamentalmente de ambos sistemas de creencias y del nivel académico de los estudiantes.

Metodología

Participantes

Han intervenido estudiantes de 3º de ESO y de 1º de Bachillerato de tres institutos de educación secundaria de la provincia de Valencia (uno de ellos de la ciudad de Valencia). La elección de la muestra ha sido limitada por la disponibilidad de los centros. Los alumnos participantes en la investigación no parece que presenten, a priori, características especiales que los diferencien de otros de su mismo curso. En cualquier caso, se debe indicar que no se realizó muestreo aleatorio y, por tanto, los resultados que aquí se han obtenido no pueden ser extrapolados a toda la población estudiantil de 3º de ESO y 1º de Bachillerato. El número de estudiantes participantes inicialmente fue de 156: 91 de 3º de ESO y 65 de 1º de Bachillerato. Sin embargo, algunos participantes (12 concretamente) no completaron el cuestionario de Creencias sobre Resolución de Problemas y fueron eliminados de los análisis correspondientes.

Medidas

Creencias epistemológicas

Se utilizó el instrumento más comúnmente empleado por los investigadores (DeBacker, Crowson, Beesley, Thoma, y Hestevold, 2008), el Schommer Epistemological Questionnaire (Schommer, 1990). Su validez de contenido y fiabilidad fue contrastada por Duell y Schommer-Aikins (2001). Consta de 63 ítems, formulados en forma directa o inversa, en los que los estudiantes indican su grado de acuerdo en una escala tipo Likert de cinco posibilidades: completamente en desacuerdo (valor 1), en desacuerdo, neutral, de acuerdo, completament de acuerdo (valor 5). Está compuesto de 12 grupos de ítems (creencias) con una estructura de 4 factores. Todos los ítems, los 12 grupos y los 4 factores, pueden encontrarse en Schommer (1998). En este cuestionario, una mayor puntuación implica una creencia más ingenua (menos realista o sofisticada) y contraria a lo deseable en el alumnado.

El cuestionario fue traducido por uno de los autores de este trabajo y revisado por una profesora filóloga experta. Posteriormente se dio a leer a un grupo de estudiantes y se efectuaron cambios para mejorar su legibilidad. En la versión suministrada se solicitaba a los estudiantes nombre o identificador (seudónimo o alias), sexo y curso. Algunos ejemplos de estos ítems son:

● Ítem 14.- Ser un buen estudiante generalmente implica memorizar hechos.

● Ítem 27.- La verdad es inmutable.

● Ítem 39.- La habilidad para aprender es innata (congénita)

Creencias sobre resolución de problemas

El instrumento empleado fue el cuestionario construido y validado por Kloosterman y Stage (1992). Ha sido utilizado por diversos investigadores (Araña-Sangcap, 2010; Guven y Cabakcor, 2013; Mason, 2003; Schommer-Aikins et al., 2005). Su versión final consta de 36 ítems y utiliza una escala tipo Likert de cinco niveles de respuesta, desde “muy poco de acuerdo”, que tiene valor 1, hasta “muy de acuerdo”, que tiene valor 5. Están formulados de forma directa o inversa, y pueden agruparse en 6 factores. El cuestionario completo con todos sus ítems (directos o positivos, e inversos o negativos) y factores puede encontrarse al final del artículo de Kloosterman y Stage (1992). Al contrario que el anterior, en este cuestionario una puntuación alta indica una creencia más sofisticada (menos ingenua) y deseable en el alumnado.

Antes de su administración, y tras la traducción por parte de los autores de este trabajo, fue revisado por una profesora filóloga experta y se dio a leer a un grupo de estudiantes (hubo cambios para mejorar su legibilidad). En la traducción, en lugar de “matemáticas” se consideró oportuno usar el término “ciencias”. Se solicitó nombre o identificador, sexo y curso. Algunos ejemplos de sus ítems son:

  • Ítem 8.-Los problemas pueden ser resueltos sin recordar fórmulas.

  • Ítem 12.-Creo que puedo hacer problemas de ciencias complicados si persisto en la tarea

  • Ítem 19.-Una persona que no puede resolver problemas en realidad no sabe ciencias.

Desempeño en resolución de problemas

Se administró a los estudiantes una prueba de resolución de problemas que recoge dos problemas extraídos de las pruebas PISA del año 2003 (INECSE, 2005), cada uno con dos apartados: problema “Caminar” (pp. 28-29) y problema “La energía necesaria” (pp. 83-95). En el Anexo 1 (https://revistas.uca.es/index.php/eureka/article/view/5412/5949) puede verse uno de ellos. Son problemas inicialmente planteados por la organización de las pruebas PISA como “problemas de matemáticas”, si bien, por sus características (magnitudes, unidades de medida, procedimientos implicados, etc.) también podrían ser considerados “problemas de ciencias físicas”. Se pidió nombre o identificador, sexo y curso. Con esta prueba se pretendió medir el rendimiento de resolución de problemas de cada estudiante.

Para su evaluación se empleó la rúbrica de evaluación que viene adjunta a los problemas en INECSE (2005). En el problema “Caminar” el primer apartado tiene una puntuación máxima de 1 punto, y el segundo de 3 puntos. En el problema “La energía necesaria” el primer apartado tiene una puntuación máxima de 1 punto y el segundo de 2 puntos. Por tanto, la calificación de la prueba de resolución de problemas oscilará entre 0 y 7 puntos.

Procedimento

La administración de la prueba de resolución de problemas y los dos cuestionarios se llevó a cabo en dos sesiones de clase normal en los respectivos centros. El orden de administración fue: en la primera sesión, prueba de resolución de problemas (duración entre 30 y 40 minutos) y cuestionario de creencias sobre resolución de problemas (ocupó alrededor de 20 minutos); en la segunda sesión, cuestionario sobre creencias epistemológicas (tiempo empleado entre 40 y 45 minutos).

Como los cuestionarios de creencias epistemológicas y de resolución de problemas contenían tanto ítems directos (positivos) como inversos (negativos), y también ambos utilizan una escala tipo Likert de cinco niveles de respuesta (desde “muy en desacuerdo”, que tiene valor 1, hasta “muy de acuerdo”, que tiene valor 5), en los ítems inversos se invirtió la puntuación, esto es, si se había marcado “muy en desacuerdo” con puntuación 1 punto, se transformaba en 5 puntos.

La corrección de la prueba de resolución de problemas se hizo por dos autores del presente trabajo aplicando la rúbrica de las pruebas PISA (Coeficiente Kappa de Cohen 0.94). Tanto la calificación de esta prueba como la obtenida en los dos cuestionarios administrados se trasladó a un hoja de cálculo EXCEL y, a continuación, los análisis estadísticos de los datos se llevaron a cabo con el software SPSS v.22.

Resultados y discusión

En primer lugar, se determinaron los coeficientes de fiabilidad alfa de Cronbach de los cuestionarios. En el caso del cuestionario de creencias epistemológicas es valor obtenido fue de 0.75, que puede considerarse aceptable. En el cuestionario de creencias sobre resolución de problemas el coeficiente alfa de Cronbach resultó ser 0.83, que indica un buen nivel de fiabilidad.

La Tabla 1 muestra los promedios y desviaciones típicas para las dos creencias y para el desempeño en resolución de problemas, según nivel académico y sexo. Recordemos que la puntuación de creencias epistemológicas es mayor cuanto más ingenua o inadecuada es la creencia.

Tabla 1
Promedios y desviaciones típicas para las medidas del estudio (creencias epistemológicas -Cre. Epis.-, creencias sobre resolución de problemas -Cre. Res. Prob.- y desempeño en resolución de problemas, -Des. Res. Prob.-según nivel académico y género.

La prueba Z de bondad del ajuste de Kolmogorov-Smirnov mostró que las distribuciones de creencias epistemológicas (p> .05) y creencias en resolución de problemas (p > .05), no fueron significativamente distintas de gaussianas. La distribución en desempeño en resolución de problemas fue significativamente distinta de una gaussiana (p< .01), debido sobre todo a un poco de exceso de valores extremos (curtosis negativa, pero no significativa: K=-.74; ErrorK= .39; K/Error= 1.9: p>.05), como muestra la Figura 1.


Figura 1
Distribución de las puntuaciones en el desempeño en la resolución de problemas

Creencias epistemológicas

Puede verse en la Tabla 1 que un nivel académico más alto comporta una puntuación en el cuestionario de creencias epistemológicas más baja, es decir, creencias más sofisticadas. También se observa que las creencias epistemológicas de chicas son más apropiadas que las de los chicos, independientemente del nivel académico.

La aplicación de un análisis de varianza (ANOVA) tomando como variables intersujetos el nivel académico (con dos niveles: 3º de ESO y 1º de Bachillerato) y el sexo de los estudiantes (con dos tipos: hombre y mujer), y como variable dependiente la puntuación total del cuestionario de creencias epistemológicas, mostró efectos significativos principales del nivel académico, F(1, 152)= 5.977, p= .016, η2=.04 ; y también del sexo, F(1, 152)= 9.761, p= .002, η2= .06, con tamaños del efecto pequeños y sin interacción entre esos factores.

Las puntuaciones de los estudiantes de secundaria participantes en este estudio no difieren ostensiblemente de las que se obtienen en otros estudios donde se ha empleado el mismo cuestionario o ligeramente modificado (Qian y Alvermann, 1995; Schommer, Calvert, Gariglietti, y Bajaj, 1997). La mejora significativa en la sofistificación de las creencias epistemológicas a medida que se avanza en los cursos académicos de la educación secundaria que se ha obtenido es acorde con los resultados de los estudios de Cano (2005), Conley et al. (2004) y Mason (2003). Las diferencias encontradas en estas creencias entre chicas y chicos, a favor de las primeras, se hallaron también en la investigación realizada por Cano (2005). Es necesario indicar, no obstante, que este último autor no utilizó el mismo instrumento de medida.

Creencias sobre resolución de problemas

La Tabla 1 también indica que un nivel académico más alto conduce a una puntuación en el cuestionario de creencias sobre resolución de problemas más alta, o dicho de otro modo, a creencias sobre resolución de problemas más apropiadas o sofisticadas. El sexo no parece mostrar una tendencia clara en las creencias sobre resolución de problemas.

Se llevó a cabo un ANOVA tomando como variables intersujetos el nivel académico (con dos niveles: 3º de ESO y 1º de Bachillerato) y sexo de los estudiantes (con dos tipos: hombre y mujer), y como variable dependiente la puntuación total del cuestionario de creencias sobre resolución de problemas. Los resultados de este ANOVA revelan que: a) hubo un efecto significativo principal para el nivel académico con tamaño del efecto intermedio, F(1,140)= 16.628, p< .001, η2=.11; b) el efecto del sexo no fue significativo (F<1); y c) no hubo interacción significativa entre ambas variables.

Las puntuaciones en el cuestionario de creencias sobre resolución de problemas de los participantes en esta investigación son bastante similares a las que obtuvo Mason (2003) con el mismo cuestionario. La escasa influencia de la variable sexo que apareció en la investigación de Mason (2003) se replica aquí. Además, el efecto de mejora en estas creencias con el mayor grado académico está en la misma línea de los resultados de dicho trabajo.

Desempeño en resolución de problemas

En la Tabla 1 se sugiere una dependencia de la puntuación en resolución de problemas con el nivel académico, y quizás con el sexo. Para estudiar la dependencia de esta puntuación con esos factores, y también con las creencias epistemológicas y sobre resolución de problemas, se realizó un análisis de covarianza (ANCOVA), tomando estas dos medidas como covariables. Se ha de recordar que las puntuaciones de la prueba de resolución de problemas no tienen una distribución en forma gaussiana, pero el histograma (Figura 1) ofrece los rasgos de una campana. Este hecho, junto a la robustez del análisis ante violaciones de normalidad, hizo que se abusara de ese test para analizar los efectos conjuntos de las variables. Se mostró un efecto principal significativo del nivel académico con efecto de tamaño intermedio, F(1,138)= 25.003, p< .001, η2= .15, y en el borde de significación para el sexo, F(1,138)= 3,848, p= ,052, y sin interacción entre ellos. Por otra parte, sólo las creencias sobre resolución de problemas resultaron correlacionadas significativamente con el desempeño en resolución de problemas, F(1,138)= 23.927, p< .001, η2= ,15), pero no las creencias epistemológicas (F<1).

La mayor puntuación de los estudiantes de secundaria de mayor nivel académico en la prueba de resolución de problemas, además de ser coherente con la mejora de conocimientos y estrategias que se produce a medida que se avanza en la educación secundaria (Veenman y Spaans, 2005), se ajusta a los resultados de trabajos anteriores (García-Gallego, Sanjosé, y Solaz-Portolés, 2015; Mugarra-Soldevila, Solaz-Portolés, Caurín-Alonso, 2014). En relación con el sexo, el efecto no significativo encontrado es congruente con las investigaciones de Hyde et al. (2008) y Lindberg et al. (2010), si bien, como ocurrió en el estudio de Gallagher et al. (2000), los chicos hicieron mejor los problemas que las chicas.

Predicción del Desempeño en Resolución de Problemas

La Tabla 2 muestra los coeficientes de correlación entre los factores o variables en este estudio. Para el cálculo se ha tomado en el nivel académico valor 0 para 3º de ESO y valor 1 para 1º de Bachillerato; y en el sexo, valor 0 para las chicas y valor 1 para los chicos.

Tabla 2
Coeficientes de correlación entre creencias epistemológicas -Cre. Epis.-, creencias sobre resolución de problemas -Cre. Res. Prob.- y desempeño en resolución de problemas, -Des. Res. Prob.-, nivel académico y sexo.

A destacar las correlaciones negativas y significativas entre las creencias epistemológicas y las creencias sobre resolución de problemas, el desempeño en la resolución de problemas y el nivel académico. Esto se debe al modo en que la forma en que se puntúa el cuestionario de creencias epistemológicas: mayor puntuación supone unas creencias más ingenuas. También se han de resaltar la correlaciones positivas y significativas entre el desempeño en la resolución de problemas, las creencias sobre resolución de problemas, y el nivel académico.

Con la finalidad de estudiar si la puntuación obtenida en la prueba de resolución de problemas (desempeño) puede ser predicha a partir de las otras variables puestas en juego en esta investigación, se efectuó un análisis de regresión múltiple. En este análisis se tomó como variable dependiente la puntuación en la prueba de resolución de problemas y como variables independientes, o predictores, la puntuación de las creencias epistemológicas y sobre resolución de problemas, el nivel académico (valor 0 para 3º de ESO y valor 1 para 1º de Bachillerato) y sexo (valor 0 para las chicas y valor 1 para los chicos).

Para poder diferenciar la contribución de cada variable o factor a la puntuación de la prueba de resolución de problemas, el análisis de regresión se realizó paso a paso (stepwise) con el método hacia delante. En este tipo de regresión en cada paso se introduce un nuevo predictor. En la Tabla 3 se muestra el resultado de este análisis.

Tabla 3
Resultado del análisis de regresión múltiple stepwise hacia adelante ( R es el coeficiente de correlación múltiple)

Según la tabla anterior, el ajuste lineal de los predictores en cada paso es significativo (p < .001). Todos los predictores combinados dan cuenta del 39% de la varianza de la puntuación de la prueba de resolución de problemas. La variable predictora que mayor varianza explica de la variable dependiente es la puntuación en creencias sobre resolución de problemas (27%), seguida del nivel académico (añade un 11% de varianza explicada) y el sexo (añade un 1% a lo anterior). Las creencias epistemológicas no añaden varianza explicada de la variable dependiente debido a colinealidad, como se muestra en la Tabla 2. El 61% restante de varianza no explicada debe ser explicado por otras variables no contempladas en esta investigación y por la varianza del error.

La Tabla 4 nos ofrece los coeficientes de regresión del modelo de regresión múltiple con todos los predictores (a excepción de las creencias epistemológicas que se han eliminado), su error típico y nivel de significación.

Tabla 4
Coeficientes de regresión de la regresión múltiple, estandarizados y no estandarizados, con su nivel de significación (B es el coeficiente de regresión no estandarizado y β el coeficiente de regresión estandarizado)

Como se observa en la tabla anterior el sexo no es significativo en el análisis. Por ello, se puede establecer que la ecuación de regresión múltiple, que relaciona la puntuación en la prueba de resolución de problemas (Des. Res. Prob.) con las variables independientes que contribuyen forma estadísticamente significativa a la regresión (creencias sobre resolución de problemas, Cre. Res. Prob., y nivel académico, Nivel Acad.), es:

Des. Res. Prob. = −4.84 + 1.99 Cre. Res. Prob. + 1.16 Nivel Acad.

Se tienen que subrayar dos consecuencias importantes de este análisis. La primera, la no contribución de la variable creencias epistemológicas al desempeño en la resolución de problemas. La segunda, la pequeña aportación (y de hecho no significativa) de la variable sexo al rendimiento en la resolución de problemas. El nulo efecto encontrado de las creencias epistemológicas sobre el desempeño en la resolución de problemas se debe a su colinealidad con las creencias sobre resolución de problemas. Si este último predictor no se considerase, entonces las creencias epistemológicas sí serían un predictor significativo con un valor β= 0.52 (varianza explicada 27%). De hecho, el coeficiente de correlación entre las creencias epistemológicas y el desempeño en resolución de problemas (-0.296) es muy similar al resultado de multiplicar otros dos coeficientes: el de correlación entre creencias epistemológicas y creencias sobre resolución de problemas (-0,54) y el de correlación entre creencias sobre resolución de problemas y desempeño en la resolución de problemas (0,518). Esto sugiere que toda la influencia de las creencias epistemológicas se ejerce a través de las creencias sobre resolución de problemas, y por eso la primera queda sin efecto aparente cuando se considera la segunda.

Los efectos hallados de las creencias sobre resolución de problemas y el nivel académico sobre el desempeño en la resolución de problemas están en consonancia con los con los trabajos de Mason (2003) y Schommer-Aikins et al. (2005), en el caso de las creencias, y con los de García-Gallego et al. (2015) y Mugarra-Soldevila et al., (2014), en el caso del nivel académico. Además, la escasa influencia de la variable sexo sobre los procesos de resolución de problemas hallada en el presente estudio es coherente con el path analysis efectuado por Pajares y Kranzler (1995), donde comprobó la poca contribución del género al éxito en la resolución de problemas.

Conclusiones e implicaciones didácticas

Antes de abordar las conclusiones finales de este trabajo es necesario poner el acento en las limitaciones del mismo. En primer lugar, la muestra seleccionada es pequeña y no es el resultado de un muestreo aleatorio, y sólo han participado dos niveles académicos de la educación secundaria (3º de ESO y 1º de Bachillerato). En segundo lugar, las limitaciones vinculadas a los instrumentos empleados, fundamentalmente la prueba de resolución de problemas, en la que había sólo dos problemas. En consecuencia, las conclusiones que se exponen seguidamente sólo son válidas, en sentido estricto, para los estudiantes participantes y con los instrumentos empleados.

De la Tabla 1 y de los ANOVAs realizados se concluye que la primera hipótesis planteada, referida a los efectos del nivel académico sobre las creencias epistemológicas y sobre resolución de problemas, ha quedado finalmente validada. Es decir, que nuestro trabajo viene a confirmar H1:

A mayor nivel académico de los estudiantes de secundaria más adecuadas (sofisticadas) son las creencias epistemológicas y sobre resolución de problemas.

En cuanto a la segunda hipótesis formulada, la misma tabla y los ANOVAs citados anteriormente también apoyan la validez de H2:

El sexo de los estudiantes tiene una influencia significativa sobre las creencias epistemológicas pero no la tiene sobre las creencias sobre resolución de problemas. Esto es, la chicas tienen unas creencias epistemológicas menos ingenuas que los chicos, pero este efecto no se observa en las creencias sobre resolución de problemas.

Los resultados del análisis de regresión múltiple, en donde se han estudiado los efectos sobre el desempeño de los estudiantes de secundaria en la resolución de problemas de las creencias epistemológicas y sobre resolución de problemas, del nivel académico y del sexo, han puesto de relieve que la mayor contribución al desempeño viene de las creencias sobre resolución de problemas y del nivel académico. El sexo tiene una aportación muy pequeña, con una significación que se sitúa en el borde del límite aceptable en el presente estudio. Las creencias epistemológicas no parecen contribuir en la tarea de resolución de problemas, pero no se trata de una refutación de resultados anteriores, sino de la consideración de efectos superpuestos de ambos conjuntos de creencias: los efectos de las creencias epistemológicas sobre el desempeño en resolución de problemas se realiza a través de las creencias sobre resolución de problemas. Por tanto, la consideración de la segunda variable convierte a la primera en redundante, pero no en irrelevante. Así pues, nuestra tercera hipótesis H3 debería matizarse del modo siguiente:

El éxito de los estudiantes en la resolución de problemas depende del nivel académico y de sus creencias sobre resolución de problemas, y estas creencias dependen, a su vez, del conjunto de creencias epistemológicas de los estudiantes. El efecto del sexo sobre el éxito en resolución de problemas no es significativo.

Dos implicaciones básicas pueden derivarse del presente estudio. La primera hace referencia a la necesidad de mejorar las creencias sobre resolución de problemas, que en realidad bien podrían considerarse como una dimensión más de las creencias epistemológicas (al fin y al cabo la resolución de problemas es una constante en la evolución de la ciencia). En nuestra opinión, esta mejora sólo puede venir a través de una concepción didáctica que ponga la resolución de problemas como un eje vertebrador del currículum. Esto pasa, entre otras medidas, por una metodología de enseñanza indagativa, en donde se den a conocer y se apliquen las destrezas procedimentales propias de la ciencia y se aborden en problemas reales. La segunda línea de actuación está relacionada con las creencias epistemológicas, que desempeñan un importantísimo papel en las estrategias de aprendizaje y, como se ha visto, en la resolución de problemas. En concreto, estas creencias tienen un relevante papel en el aprendizaje de las ciencias porque forman parte de las estructuras de la autorregulación del aprendizaje que, a su vez, afectan a la motivación (creencias sobre autoeficacia, principalmente), a las emociones, a la ansiedad ante los problemas, etc. De todo ello, se colige la necesidad de ponerlas en evidencia en el aula, impregnando el currículum de actividades que contengan estos aspectos (Hofer y Yu, 2000).

Referencias bibliográficas

Araña-Sangcap, P. G. (2010). Mathematics-related beliefs of Filipino college students: Factors affecting mathematics and problem solving performance. Procedia-Social and Behavioral Sciences, 8, 465-475.

Battista, M. T. (1990). Spatial visualization and gender differences in high school geometry. Journal for Research in Mathematics Education, 21(1) 47-60.

Bodin, M., y Winberg, M. (2012). Role of beliefs and emotions in numerical problem solving in university physics education. Physical Review Special Topics-Physics Education Research, 8(1), 010108. https://journals.aps.org/prper/pdf/10.1103/PhysRevSTPER.8.010108

Bråten, I., y Strømsø, H. I. (2005). The relationship between epistemological beliefs, implicit theories of intelligence, and self‐regulated learning among Norwegian postsecondary students. British Journal of Educational Psychology, 75(4), 539-565.

Cano, F. (2005). Epistemological beliefs and approaches to learning: Their change through secondary school and their influence on academic performance. British Journal of Educational Psychology, 75(2), 203-221.

Castro, E. (2008). Resolución de Problemas. ideas, tendencias e influencias en España. En R. Luengo, B. Gómez, M. Camacho, y L. J. Blanco (Eds.), Investigación en Educación Matemática XII (pp. 113-140). Badajoz: SEIEM

Conley, A. M., Pintrich, P. R., Vekiri, I., y Harrison, D. (2004). Changes in epistemological beliefs in elementary science students. Contemporary Educational Psychology, 29(2), 186-204.

DeBacker, T. K., Crowson, H. M., Beesley, A. D., Thoma, S. J., y Hestevold, N. L. (2008). The challenge of measuring epistemic beliefs: An analysis of three self-report instruments. The Journal of Experimental Education, 76(3), 281-312.

Docktor, J. y Heller, K. (2008). Gender differences in both force concept inventory and introductory physics performance. En C. Henderson, M. Sabella, y L. Hsu, Physics Education Research Conference 2008 (pp. 15-18). Melville, NY: American Institute of Physics.

Douglas, E. P., Koro-Ljungberg, M., McNeill, N. J., Malcolm, Z. T., y Therriault, D. J. (2012). Moving beyond formulas and fixations: Solving open-ended engineering problems. European Journal of Engineering Education, 37(6), 627–651. http://dx.doi.org/10.1080/03043797.2012.738358

Duell, O. K., y Schommer-Aikins, M. (2001). Measures of people's beliefs about knowledge and learning. Educational Psychology Review, 13, 419-449.

Gallagher, A. M., De Lisi, R., Holst, P. C., McGillicuddy-De Lisi, A. V., Morely, M., y Cahalan, C. (2000). Gender differences in advanced mathematical problem solving. Journal of Experimental Child Psychology, 75(3), 165-190.

García Gallego, P., Sanjosé López, V., y Solaz-portolés, J. J. (2015). Efectos de las características del problema, captación de su estructura y uso de analogías sobre el éxito de los estudiantes de secundaria en la resolución de problemas. Teoría de la Educación. Revista Interuniversitaria, 27(2), 221-244.

Gómez-Ferragud, C., Solaz-Portolés, J. J., y Sanjosé, V. (2015). Effects of topic familiarity on analogical transfer in problem-solving: A think-aloud study of two singular cases. Eurasia Journal of Mathematics, Science y Technology Education, 11(4), 875-887.

Guirado, A. M., Mazzitelli, C., y Maturano, C. (2013). La resolución de problemas en la formación del profesorado en ciencias: análisis de las opiniones y estrategias de los estudiantes. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 10 (Núm. Extraordinario), 821-835. doi: http://dx.doi.org/10.25267/Rev_Eureka_ensen_ divulg_cienc.2013.v10.iextra.22

Guven, B., y Cabakcor, B. O. (2013). Factors influencing mathematical problem-solving achievement of seventh grade Turkish students. Learning and Individual Differences, 23, 131-137.

Hofer, B. K. (2002). Personal epistemology as a psychological and educational construct: An introduction. En B. K. Hofer y P. R. Pintrich (Eds.), Personal epistemology: The psychology of beliefs about knowledge and knowing (pp. 3-14). Mahwah, NJ: Lawrence Erlbaum.

Hofer, B. K., y Bendixen, L. D. (2012). Personal epistemology: Theory, research, and future directions. En K. R. Harris, S. Graham, T. Urdan, C. B. McCormick, G. M. Sinatra, y J. Sweller (Eds.), APA Educational Psychology Handbook, Vol. 1. Theories, constructs, and critical issues (pp. 227-256). Washington, DC, US: American Psychological Association. http://dx.doi.org/10.1037/13273-009

Hofer, B. K., y Yu, S. L. (2003). Teaching self-regulated learning through a" Learning to Learn" course. Teaching of Psychology, 30(1), 30-33.

Hyde, J. S., Lindberg, S. M., Linn, M. C., Ellis, A. B., y Williams, C. C. (2008). Gender similarities characterize math performance. Science, 321(5888), 494-495.

Hyde, J. S., y Mertz, J. E. (2009). Gender, culture, and mathematics performance. Proceedings of the National Academy of Sciences, 106(22), 8801-8807.

INECSE (2005). Pisa 2003. Pruebas de matemáticas y de solución de problemas. Madrid: MEC. Extraído de: http://educalab.es/inee/evaluaciones-internacionales/preguntas-liberadas-pisa-piaac/enlaces

Jonassen, D. H. (2000). Toward a design theory of problem solving. Educational Technology Research and Development, 48(4), 63-85.

King, P. M., y Kitchener, K. S. (1994). Developing reflective judgment: Understanding and promoting intellectual growth and critical thinking in adolescents and adults. San Francisco, CA: Jossey-Bass.

Lindberg, S. M., Hyde, J. S., Petersen, J. L., y Linn, M. C. (2010). New trends in gender and mathematics performance: a meta-analysis. Psychological Bulletin, 136(6), 1123.

Martínez-Aznar, M., Rodríguez-Arteche, I., y Gómez-Lesarri, P. (2017). La resolución de problemas profesionales como referente para la formación inicial del profesorado de física y química. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 14(1), 162-180. doi: http://dx.doi.org/10.25267/Rev_Eureka_ ensen_divulg_cienc.2017.v14.i1.13

Mason, L. (2003). High school students' beliefs about maths, mathematical problem solving, and their achievement in maths: A cross-sectional study. Educational Psychology, 23(1), 73-85.

McNeill, N. J., Douglas, E. P., Koro‐Ljungberg, M., Therriault, D. J., y Krause, I. (2016). Undergraduate students' beliefs about engineering problem solving. Journal of Engineering Education, 105(4), 560-584.

Mugarra Soldevila, I., Solaz-Portolés, J. J., y Caurín Alonso, C. (2014). Efectos en estudiantes de secundaria de la utilización de símbolos que señalizan la dificultad de los problemas. REICE. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 12(3), 93-108.

Ozturk, T., y Guven, B. (2016). Evaluating Students' Beliefs in Problem Solving Process: A Case Study. Eurasia Journal of Mathematics, Science & Technology Education, 12(3), 411-429.

Pajares, F., y Kranzler, J. (1995). Self-efficacy beliefs and general mental ability in mathematical problem-solving. Contemporary Educational Psychology, 20(4), 426-443.

Perales, F. J. (2006). La resolución de problemas en física. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 3(3), 524-525. Extraído de: https://reuredc.uca.es/index.php/eureka/article/view/3857/3435

Phan, H. (2008). Multiple regression analysis of epistemological beliefs, learning approaches, and selfregulated learning. Electronic Journal of Research in Educational Psychology, 6 (1), 157-184.

Pintrich, P. R. (2002). Future challenges and directions for theory and research on personal epistemology. In B. K. Hofer y P. R. Pintrich (Eds.), Personal epistemology: The psychology of beliefs about knowledge and knowing (pp. 389-414). Mahwah,NJ: Erlbaum

Pulmones, R. (2010). Linking students ’epistemological beliefs with their metacognition in a chemistry classroom . The Asia-Pacific Education Researcher, 19(1) , 143 – 159

Qian, G., y Alvermann, D. (1995). Role of epistemological beliefs and learned helplessness in secondary school students' learning science concepts from text. Journal of Educational Psychology, 87(2), 282.

Schoenfeld, A.H. (1983). Beyond the purely cognitive: Beliefs system, social cognition, and metacognition as driving forces in intellectual performance. Cognitive Science, 7, 329–363

Schommer, M. (1990). Effects of beliefs about the nature of knowledge on comprehension. Journal of Educational Psychology, 82(3), 498-504.

Schommer. M. (1993). Epistemological development and academic performance among secondary students. Journal of Educational Psychology, 85(3), 406-411.

Schommer. M. ( 1994). An emerging conceptualization of epistemological beliefs and their role in learning. En R. Gamer y P. Alexander (Eds.), Beliefs about text and about text instruction (pp. 25-39). Hillsdale. NJ: Erlhaum.

Schommer, M. (1998). The influence of age and education on epistemological beliefs. British Journal of Educational Psychology, 68(4), 551-562.

Schommer, M., Calvert, C., Gariglietti, G., y Bajaj, A. (1997). The development of epistemological beliefs among secondary students: A longitudinal study. Journal of Educational Psychology, 89(1), 37-40.

Schommer-Aikins, M., Duell, O. K., y Hutter, R. (2005). Epistemological beliefs, mathematical problem-solving beliefs, and academic performance of middle school students. The Elementary School Journal, 105(3), 289-304.

Schraw, G., Dunkle, M. E., y Bendixen, L. D. (1995). Cognitive processes in well‐defined and ill‐defined problem solving. Applied Cognitive Psychology, 9(6), 523-538.

Sperling, R. A., Howard, B. C., Miller, L. A., y Murphy, C. (2002). Measures of children’s knowledge and regulation of cognition. Contemporary Educational Psychology, 27(1), 51-79.

Stage, F. K., y Kloosterman, P. (1992). Measuring beliefs about mathematical problem solving. School Science and Mathematics, 92(3), 109-115.

Stathopoulou, C., y Vosniadou, S. (2007a). Conceptual change in physics and physics-related epistemological beliefs: A relationship under scrutiny. En S. Vosniadou, A. Baltas, y X. Vamvakoussi (Eds.), Reframing the conceptual change approach in learning and instruction (pp. 145-164). Oxford, UK: Elsevier.

Stathopoulou, C., y Vosniadou, S. (2007b). Exploring the relationship between physics-related epistemological beliefs and physics understanding. Contemporary Educational Psychology, 32(3), 255-281.

Taylor, K. L., y Dionne, J. P. (2000). Accessing problem-solving strategy knowledge: The complementary use of concurrent verbal protocols and retrospective debriefing. Journal of Educational Psychology, 92(3), 413–425.

Topçu, M. S., y Yılmaz-Tüzün, Ö. (2009). Elementary students' metacognition and epistemological beliefs considering science achievement, gender and socioeconomic status. Elementary Education Online, 8(3), 676-693.

Veenman, M. V., y Spaans, M. A. (2005). Relation between intellectual and metacognitive skills: Age and task differences. Learning and Individual Differences, 15(2), 159-176.

Villagrán, M. A., Guzmán, J. I. N., Pavón, J. M. L., y Cuevas, C. A. (2002). Pensamiento formal y resolución de problemas matemáticos. Psicothema, 14(2), 382-386.

Zhu, Z. (2007). Gender differences in mathematical problem solving patterns: A review of literature. International Education Journal, 8(2), 187-203.

Información adicional

Para citar este artículo: Alabau, J., Solaz-Portolés, J. J. y Sanjosé, V. (2020) Relación entre creencias sobre resolución de problemas, creencias epistemológicas, nivel académico, sexo y desempeño en resolución de problemas: un estudio en educación secundaria. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias 17(1), 1102. doi: 10.25267/Rev_Eureka_ensen_divulg_cienc.2020.v17.i1.1102



Buscar:
Ir a la Página
IR
Visor de artículos científicos generados a partir de XML-JATS4R por