Servicios
Descargas
Buscar
Idiomas
P. Completa
Validación de un cuestionario sobre Alfabetización Ambiental mediante juicio de expertos
Alicia Guerrero Fernández; Fátima Rodríguez Marín; Emilio Solís Ramírez;
Alicia Guerrero Fernández; Fátima Rodríguez Marín; Emilio Solís Ramírez; José Eduardo García Díaz
Validación de un cuestionario sobre Alfabetización Ambiental mediante juicio de expertos
Validation of a questionnaire about Environmental Literacy through expert judgement
Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, vol. 19, núm. 3, p. 310101, 2022
Universidad de Cádiz
resúmenes
secciones
referencias
imágenes

Resumen: Los problemas socioambientales presentes y futuros, nos obligan a emprender estrategias urgentes para formar a ciudadanas y ciudadanos críticos, responsables y resilientes, de ahí que adquiera relevancia una educación ambiental en y para el decrecimiento. Para la formación ciudadana, consideramos una pieza clave el compromiso del sistema educativo, así como la formación inicial docente, cuya Alfabetización Ambiental parece ser baja.

El trabajo presentado, refleja cómo se ha validado mediante juicio de expertos un instrumento que persigue detectar el grado de Alfabetización Ambiental de los futuros docentes de Educación Infantil y Primaria en base a tres dimensiones ambientales: a) conocimientos y habilidades, b) actitudes y emociones y c) comportamientos. Cada una de ellas conformada por categorías y subcategorías.

Después de las valoraciones y modificaciones pertinentes, se analizó la confiabilidad estadística del instrumento realizando una prueba piloto con docentes en formación inicial. Finalmente, se ha obtenido un cuestionario validado que incluye 88 ítems, para evaluar el grado de Alfabetización Ambiental en la formación inicial docente en Educación Infantil y Primaria.

Palabras clave: Alfabetización Ambiental, formación inicial docente, cuestionario, validación, juicio de expertos.

Abstract: Present and future socio-environmental problems force us to undertake urgent strategies to prepare a critical, responsible and resilient citizenry, hence environmental education in and for degrowth becomes relevant. We consider the commitment of the educational system to be a key element in citizen training, as well as preservice teachers, whose environmental literacy seems to be poor.

The work presented reflects how an instrument has been designed and validated by expert judgement that aims to detect the degree of environmental literacy of future Early Childhood and Primary Education teachers based on three environmental dimensions: a) knowledge and skills, b) attitudes and emotions and c) behaviours. Each of them is made up of categories and sub-categories.

After the pertinent evaluations and modifications, the statistical reliability of the instrument was analysed by carrying out a pilot test with preservice teachers. Finally, a validated questionnaire has been obtained which includes 88 items, to assess the degree of Environmental Literacy in preservice teachers in Early Childhood and Primary Education.

Keywords: Environmental Literacy, preservice teachers, questionnaire, validation, expert judgement.

Carátula del artículo

Fundamentos y líneas de trabajo

Validación de un cuestionario sobre Alfabetización Ambiental mediante juicio de expertos

Validation of a questionnaire about Environmental Literacy through expert judgement

Alicia Guerrero Fernández
Departamento de Didáctica de las Ciencias Experimentales y Sociales de la Universidad de Sevilla, España
Fátima Rodríguez Marín
Departamento de Didáctica de las Ciencias Experimentales y Sociales de la Universidad de Sevilla, España
Emilio Solís Ramírez
Departamento de Didáctica de las Ciencias Experimentales y Sociales de la Universidad de Sevilla, España
José Eduardo García Díaz
Departamento de Didáctica de las Ciencias Experimentales y Sociales de la Universidad de Sevilla, España
Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, vol. 19, núm. 3, p. 310101, 2022
Universidad de Cádiz

Recepción: 07 Febrero 2021

Revisado: 15 Febrero 2022

Aprobación: 13 Junio 2022

Justificación

Actualmente, nos encontramos ante una crisis ecosocial que requiere de una clara apuesta por el decrecimiento (Del Río 2015, Fernández y González 2018) que nos capacite para adaptarnos a un planeta con recursos cada vez más limitados.

La Educación Ambiental (en adelante EA), como herramienta de cambio, tiene una gran responsabilidad en esta tarea, pues debería garantizar contextos de interrelación entre el ámbito escolar y las problemáticas socioambientales, emprendiéndose procesos de Alfabetización Ambiental (ALFAM) que formen a ciudadanas y ciudadanos resilientes, conscientes y participativos. Este tipo de EA, en y para el decrecimiento, es especialmente relevante que sea incluida en los planes de estudio de la formación inicial docente, con el fin no solo de formar al profesorado, sino de capacitarle para afrontar las diversas situaciones y problemáticas socioambientales.

Esta investigación pretende ofrecer un instrumento, el cuestionario CDA (Cuestionario de Dimensiones Ambientales), que pueda ser empleado para conocer el grado de ALFAM de los futuros docentes en formación inicial en Educación Infantil y Primaria, con el fin de tomarlo como punto de partida para emprender procesos de ALFAM y de detectar dónde residen barreras que merecen ser superadas y qué puntos de anclaje nos permiten avanzar hacia niveles superiores.

Marco teórico
Crisis ecosocial

El modelo de interrelaciones establecidas entre la sociedad actual y los recursos, materiales y flujos de energía del planeta, denominado metabolismo social (Fernández y González 2018), ostenta un carácter lineal, pues los recursos y la materia son extraídos de manera descontrolada y no se reincorporan nuevamente a los ciclos naturales. Sería preciso reorganizar nuestro sistema (Prats et al. 2017) avanzando hacia un metabolismo circular donde la sociedad se ajuste a los límites de la biosfera (García-Díaz et al. 2019a). Ante la situación de crisis ecosocial, se hace urgente que la población desarrolle estrategias de adaptación a un planeta con menos recursos (García-Díaz et al. 2019b). Y aquí pensamos, la EA, desde una perspectiva decrecentista, tiene mucho que hacer.

Alfabetización y Educación Ambiental

Ante la necesidad de generar contextos encaminados al emprendimiento de cambios profundo en el sistema y en la organización de la estructura social, política y económica, se toma como referencia un modelo de EA basado en y para el decrecimiento (García-Díaz et al. 2019a, García-Díaz et al. 2019b). Y, para ello, la ALFAM se convierte en una herramienta educativa útil para formar a una ciudadanía crítica, consciente, responsable y participativa y para reconocer su grado de competencias ambientales.

Partiendo de una idea de ALFAM entendida como la capacidad de los individuos de entender la salud de los sistemas ambientales y de emprender estrategias de acción ajustadas a ellos (Roth 1992), así como de todas las referencias bibliográficas revisadas (Álvarez-García et al. 2018a, 2018b, Liang et al. 2018, Mellado et al. 2014), se considera que la ALFAM está conformada por tres dimensiones socioambientales básicas, a saber: a) conocimientos y habilidades; b) actitudes y emociones; y c) comportamientos.

Formación inicial

Investigaciones como las de Bautista et al. (2019), defienden la pertinencia de incorporar contenidos ambientales a los contextos de formación del profesorado a nivel global, debido a que se encuentran niveles muy bajos en relación a comportamientos (Goldman et al. 2006) y a conocimientos socioambientales (Tal 2010). Asimismo, estudios como los de Álvarez-García et al. (2015), indican que los programas que lo incorporan lo hacen mayoritariamente en asignaturas optativas específicas.

Cuestionarios y validación

Son varios los autores que han utilizado el cuestionario como instrumento para detectar y estudiar el grado de ALFAM u otros aspectos relacionados con la EA (Aksit et al. 2018, Álvarez-García et al. 2018a, Boyes et al. 2009, Hidalgo y Pisano 2010, Ozsoy et al. 2012, Sulaiman y Shamsa 2014). Uno de los procesos que consideramos necesarios para su utilización con garantías de éxito, fue la validación de los ítems y los constructos que lo componen. Para ello, hemos utilizado el juicio de expertos y la prueba piloto (Ding y Hershberger 2002, Cabero y Llorente 2013, Escobar y Cuervo 2008). La validación por juicio de expertos es un método ampliamente utilizado para este tipo de instrumentos, siendo muy frecuente en el terreno de las investigaciones educativas (Bakieva et al. 2018, Cabello y Carrera 2017, Dorantes-Nova et al. 2016, López de Arana et al. 2020, del Pino et al. 2019). De acuerdo con lo expresado anteriormente, el equipo de investigación que lleva a cabo este trabajo también decidió la construcción de un cuestionario ad hoc (Guerrero et al. 2022a), utilizando la técnica de agregación individual del juicio de los expertos, sin que haya contacto entre ellos (Cabero y Llorente 2013), para realizar el estudio del grado de ALFAM en los profesores de Educación Infantil y Primaria en formación inicial.

Objetivos y problemas

El objetivo que se persigue con este trabajo es el de validar mediante juicio de expertos y una prueba piloto un instrumento que analice y determine el grado de ALFAM en la formación inicial de los Grados en Educación Infantil y Educación Primaria.

Para ello, en primer lugar, se trabajó en determinar cuáles eran los diversos componentes o dimensiones que se incluyen dentro del proceso de ALFAM a partir de la literatura afín a la temática de investigación, lo que permitió establecer y definir diferentes variables de análisis. Una vez concretadas dichas dimensiones, se diseñó un cuestionario que pudiese ser validado y aplicado.

Atendiendo a lo anterior, los objetivos de esta investigación son los siguientes:

• Desarrollar el proceso de juicio de expertos para la validación de un cuestionario, en nuestro caso, el Cuestionario de Dimensiones Ambientales.

• Aplicar una prueba piloto, una vez modificado el cuestionario, para analizar su grado de fiabilidad.

Metodología

Para este estudio, se llevó a cabo una metodología de carácter descriptivo y cuantitativo y se escogió la validación de un cuestionario elaborado ad hoc, por entender que es pertinente en relación a los objetivos propuestos en el estudio. Este instrumento debe entenderse como parte de una propuesta metodológica más amplia de corte plurimetodológico (Ruiz-Olabuénaga 2012), combinado (Hernández-Sampieri et al. 2010) o mixto (Creswell y Garret 2008), donde se integran herramientas tanto cualitativas como cuantitativas y que será empleado en una investigación exhaustiva.

Fases
Revisión bibliográfica de cuestionarios existentes y determinación de dimensiones

Para poder llevar a cabo el diseño y la elaboración del cuestionario, se tomaron como referencia no solo investigaciones que incluyesen el cuestionario como instrumento, sino también otras que abordasen los componentes, dimensiones o categorías implícitas en el proceso de ALFAM.

Se partió de los componentes que el modelo AKASA definía (concienciación, conocimientos, habilidades, actitudes y acciones), así como los de Roth (1992), fuente principal de referencia en nuestro estudio, que mencionaba los mismos componentes, aunque añadiendo el aspecto afectivo y resaltando la existencia de diferentes niveles de complejidad.

Estas aportaciones fueron secundadas por otras investigaciones como las de Coyle (2005), Mello O’Brien (2007) y Álvarez-García et al. (2018a, 2018b); o la de Liang et al. (2018), que incluía dimensiones cognitivas, afectivas y de comportamiento.

A partir de estos estudios y teniendo en cuenta aspectos que consideramos indispensables abordar, como los referidos a problemas socioambientales (Fernández y González 2018, Taibo 2017, Turiel 2020) y a emociones (Mellado et al. 2014), se determinaron tres dimensiones a la hora de evaluar el grado de ALFAM: a) conocimientos y habilidades, b) actitudes y emociones y c) comportamientos ambientales. Estas dimensiones fueron integradas en el CDA a través de sus diferentes ítems (Guerrero et al. 2022a).

Elaboración y diseño de la primera versión del cuestionario

El cuestionario se estructuró por secciones relacionadas con diferentes variables de análisis y adoptó, en su primera versión, la siguiente estructura:

Sección 1: Datos demográficos (13 ítems). En esta sección, además de preguntar sobre edad, género y cuestiones académicas, se intenta indagar sobre la formación ambiental del participante, fuentes de información para problemas socioambientales, pertenencia a ONG's, etc.

Sección 2: Una respuesta correcta (20 ítems). Conocimientos socioambientales de respuesta cerrada, donde solamente una respuesta es correcta. Todos los ítems de esta sección pertenecen a la Dimensión Conocimientos y habilidades.

Sección 3: Grado de acuerdo o desacuerdo (41 ítems). En esta sección se encuentran mezcladas preguntas relacionadas con las tres dimensiones del cuestionario: Conocimientos y habilidades (5 ítems), Actitudes (29 ítems) y Comportamientos (4 ítems). Para estos ítems se emplea una escala tipo Likert con cinco valores, siendo 1 “Completamente en desacuerdo” y 5 “Completamente de acuerdo” (38 ítems). Además, se incluyen 3 preguntas referidas a emociones, donde se propone que se escojan tres emociones para cada uno de los casos planteados.

Sección 4: Grado de frecuencia (21 ítems): En esta sección se incluyen solamente preguntas sobre la dimensión Comportamiento. Se utiliza una escala tipo Likert con cinco valores sobre el grado de frecuencia de determinadas prácticas, siendo 1 “Nunca” y 5 “Casi siempre”.

• Agradecimiento final y cierre.

El formato elegido para la cumplimentación del cuestionario ha sido la herramienta Google Forms.

Proceso de validación en panel de expertos/as

Una vez diseñada la primera versión del cuestionario, se puso en marcha el proceso de validación del contenido para analizar el grado en que el instrumento era capaz de medir las diferentes dimensiones e ítems que pretende analizar, atendiendo tanto a su claridad como a su pertinencia. Para ello, fue sometido a un juicio de expertos/as que hiciese posible afinar y añadir modificaciones al cuestionario inicial (Hernández-Sampieri et al. 2010).

En este proceso de validación de expertos, se siguieron la mayoría de los pasos planteados por Escobar y Cuervo (2008):

1. Objetivo planteado: validar el contenido en una prueba diseñada por un grupo de investigadores.

2. Selección de jueces. Después de considerar la experiencia y formación académica de un grupo de posibles expertos, se enviaron 13 peticiones y se obtuvo la valoración de 10 personas expertas. De ellas, 9 son de diferentes departamentos de Facultades de Ciencias de la Educación (3 de Didáctica de las Ciencias Experimentales, 2 de Didáctica de las Ciencias Sociales, 1 Investigadora en Didáctica de la Educación Ambiental, 2 de Métodos de Investigación y 1 de Didáctica y Organización Escolar). Asimismo, participó 1 persona experta en EA, proveniente de una empresa de proyectos educativos.

A las personas expertas se les comunicó cual era el objetivo de la prueba a valorar, que no era otro que determinar el grado de ALFAM del profesorado en formación inicial.

3. Construcción de plantillas de valoración: atendiendo a los aspectos de claridad y pertinencia, a cada ítem se le añade una escala Likert de 1 a 5. Al final se añadió una sección de “Otros comentarios”.

4. Concordancia: para analizar la coherencia entre las puntuaciones dadas por los expertos, se recurre a los valores de media, moda y desviación típica.

5. Adecuación entre ítems y constructos: se escogen dos métodos para analizar la validez de contenido (Pedrosa et al. 2013), como son el Índice de Validez de Contenido (IVC[1]) (Lawshe 1975) y el Coeficiente de Validez de Contenido (CVC[2]), (Hernández-Nieto 2002), debido a que pensamos que son los que mejor se adaptan a las características del cuestionario.

6. Elaboración de conclusiones y modificaciones, si procede, del cuestionario.

Análisis de resultados tras el panel de expertos/as y reelaboración del cuestionario

Los datos recogidos a partir de las aportaciones numéricas de cada experto, fueron tratados mediante Excel para calcular la media, moda y desviación típica de cada uno de los ítems en relación a la claridad y a la pertinencia, con el fin de analizar la concordancia entre los expertos. También se analizaron los valores del IVC y del CVC, con el objetivo de valorar que ítem debían mantenerse, eliminarse o modificarse para la siguiente versión del cuestionario. Asimismo, se tuvieron en cuenta los comentarios aportados por los expertos y se incluyeron otras categorías según el contenido ofrecido en la unidad de información, lo que llevó a la modificación o creación de ítems, aunque los valores de RVC[3] o CVC no lo impusieran. Finalmente, algunos ítems fueron eliminados por acortar el cuestionario, recomendación general del equipo de expertos.

Prueba piloto y análisis de consistencia interna

Una vez que el cuestionario fue modificado en una nueva versión a partir de la fase del juicio de expertos/as, se llevó a cabo una prueba piloto. La muestra ha sido escogida a través de un sistema de muestreo no probabilístico de carácter accidental/causal, ya que el criterio de selección de la misma ha venido determinado por la posibilidad de acceder a grupos de estudiantes en formación inicial de Educación Infantil y Educación Primaria de las Universidades de Sevilla y Huelva. Se ha contado con un total de 52 participantes.

Análisis de resultados tras la prueba piloto y elaboración del cuestionario definitivo

Para evaluar la fiabilidad del cuestionario y que este pueda ser aplicado a contextos diferentes, se empleó el coeficiente de Alfa de Cronbach. En base a ello, estudios como el de Godoy et al. (2008), afirman que para que una escala tenga consistencia interna y resulte, por tanto, fiable, el coeficiente de Alfa de Cronbach debe ser, como mínimo, de 0.6, si bien en otras investigaciones dicho valor se eleva a 0.7. Esta prueba se aplicó a las cuestiones conformadas con escalas. Para aquellas relativas a conocimientos, la validación se realizó considerando los porcentajes de respuestas adecuadas de cada cuestión, el índice de dificultad y el índice de discriminación. Para ello, se emplearon como programas de tratamiento de datos la hoja de cálculo de Excel y SPSS Statistics 26.

Análisis de resultados
Resultados tras el panel de expertos/as

A continuación, se presentan los resultados obtenidos referidos a la claridad y a la pertinencia en cada uno de los apartados del cuestionario. En primer lugar, como medida de concordancia entre las valoraciones de los expertos, se indican los resultados más significativos de la media, la moda y desviación típica de ambas variables para cada ítem. Como análisis general, se ha considerado que un valor de la media del ítem por encima de 4 es un valor positivo de aceptación, y una desviación típica menor que 1 como indicativo de valores agrupados en las respuestas de los expertos/as, así como el valor de la moda.

Los valores de validez de contenido RVC, IVC y CVC, fueron utilizados para valorar qué cambios y modificaciones resultaban precisos realizarse en el cuestionario inicial diseñado.

Sección 1

Para comenzar, atendiendo a la primera sección del cuestionario referida a datos demográficos, en relación a la moda, el valor más repetido es el de 5, es decir, el de máximo acuerdo. Por otra parte, de los trece ítems que incluye la sección, solo dos de ellos (11 y 12) muestran valores iguales o por debajo de cuatro (4 y 3.9 correspondientemente) en relación a la media obtenida en el criterio de pertinencia. A su vez esto se corresponde con el valor de la desviación típica, en estos ítems, que reflejan puntuaciones mayores a uno. En cuanto a la claridad, no aparece ningún valor medio igual o menor a cuatro, sin embargo, es destacable que aparezcan desviaciones típicas mayores a 1 en cuatro ítems (6, 10, 11 y 13).

En lo que se refiere a los cálculos realizados para analizar la validez de contenido, se ha empleado, como ya indicábamos en la sección Metodología, el Índice de Validez de Contenido (IVC) como media de la Razón de Validez de Contenido (RVC) y el Coeficiente de Validez de Contenido (CVC). En la tabla 1 presentamos los valores obtenidos para esta sección.

Tabla 1. Sección 1: RVC, IVC y CVC (Modificaciones efectuadas, en fucsia los no modificados y en verde los modificados).

Tabla 1
Sección 1 RVC IVC y CVC Modificaciones efectuadas en fucsia los no modificados y en verde los modificados

En relación con los valores de RVC y de IVC, es preciso consignar quñe criterio se adopta. Davis (1992), indica que un valor adecuado es de 0.80. No obstante, de acuerdo con los criterios del propio Lawshe, (1975), el valor a partir del cual se pueden considerar aceptables los valores de estos parámetros, depende del número de expertos que validen el instrumento. De esta manera, el cálculo del RVC y por tanto del IVC para un total de 10 expertos, resulta ser de 0.76. Si se aplica el criterio de Davis, 5 de los 13 ítems obtienen valores inferiores a 0.80 en lo que a pertinencia se refiere (1, 4, 10, 11 y 12). Los ítems 11 y 12 presentaban también valores más bajos de la media o desviaciones típicas superiores a 1. En el caso de la claridad, con este mismo criterio, ocurre con 4 de los 13 ítems (6, 10, 12 y 13). De la misma manera, los ítems 6, 10 y 13 también presentaban una desviación típica mayor a 1.00. El IVC en ambos casos, con este criterio, está muy próximo al 0.80 (0.78). Si aplicamos el criterio de Lawshe, 3 de los 13 ítems estarían por debajo de ese valor (10, 11 y 12) en lo que se refiere a la pertinencia y 4 de los 13 en claridad. (6, 10, 12 y 13). Con este criterio, el IVC en ambos aspectos está por encima del 0.76. Por tanto, como se puede observar, los resultados son muy similares, se aplique el criterio que se aplique.

En relación con el CVC (Hernández-Nieto, 2002), de acuerdo con Pedrosa et al., (2013), primero es necesario calcular lo que ellos llaman el CVCi, como el cociente entre la media de las puntuaciones otorgadas por los jueces y la máxima puntuación que podría alcanzar, en una escala Likert de cinco valores como es nuestro caso. Por otra parte, de acuerdo también con estos autores, se debería calcular el error posible de cada ítem, en función del número de jueces participantes, 10 en nuestro estudio, con idea de evitar el sesgo que podría conllevar la valoración de los jueces. En nuestro caso, el error es del orden de 1.00 E-10, ya que son 10 el número de jueces que participan. Finalmente, para calcular el CVC, a este CVCi habría que restarle el posible error de sesgo, en función del número de expertos que participan en la prueba. En este caso los valores de CVCi y CVC son coincidentes, debido a los órdenes de magnitud del error y del CVCi. Por ello, en la tabla solamente aparece el CVC.

El valor que indica que un ítem es aceptable, de acuerdo con los criterios del propio Hernández-Nieto, es de 0.80. En nuestro caso, todos los ítems presentan un CVC por encima de ese valor excepto el ítem 11, en el caso de la pertinencia, que adopta un valor de 0.78. Atendiendo a los resultados anteriormente expresados, las acciones que se realizaron sobre los ítems son las que se muestran en la figura 1.


Figura 1
Acciones efectuadas en los ítems de la sección 1

Sección 2

En relación a la sección 2 del cuestionario, que incluye veinte preguntas de una única respuesta posible, la moda en todos los ítems, tanto en pertinencia como en claridad, es de 5, valor máximo que puede alcanzar. Referido a la pertinencia, ningún ítem ha obtenido una valoración media por debajo de cuatro, aunque aparecen dos ítems (4 y 17) que presentan desviaciones típicas superiores a 1.2. En relación con la claridad de las cuestiones planteadas, un ítem (4) muestra una puntuación inferior a cuatro en la media, correspondiéndose con la valoración obtenida en su desviación típica, que se muestra mayor a uno junto a otros tres ítems más (3, 5 y 12).

En relación con el RVC, el IVC y el CVC correspondiente a esta sección los resultados que se obtienen son los reflejados en la tabla 2.

Tabla 2
Sección 2: RVC, IVC y CVC (Modificaciones efectuadas, en verde los modificados).

Siguiendo los mismos criterios aplicados a la sección anterior, en el apartado de pertinencia solo en dos ítems (4 y 19) el RVC se encuentra por debajo del 0.80 y de 0.76, aplicando tanto el criterio de Davis como el de Lawshe, respectivamente. En este caso, el ítem 4 presentaba una desviación típica de 1.30 en la tabla 3. En claridad, son 6 los ítems que presentan valores por debajo de estos límites (2, 3, 4, 5, 19 y 20). El IVC tiene el valor de 0.80, en ambos aspectos, superior a lo que proponen ambas escalas para el índice de aceptación de los ítems. En relación con el CVC, todos los ítems en el apartado de pertinencia presentan un valor por encima del 0.80, excepto el ítem 14. En la claridad ocurre lo mismo, pero en el ítem 4. Las acciones que se llevaron a cabo con los ítems de esta sección son los que se presentan en la figura 2.


Figura 2
Acciones efectuadas en los ítems de la sección 2

Sección 3

En la sección 3 del cuestionario, que planteaba 38 ítems sobre el grado de acuerdo o desacuerdo del sujeto encuestado sobre las afirmaciones que se le presentaban, y sobre la valoración de emociones, se han obtenido los datos mostrados en la tabla 3. Las valoraciones que guardan relación con la pertinencia, muestran una media superior a cuatro, dándose únicamente dos ítems (19 y preguntas sobre dudas) cuyas desviaciones típicas son mayores a 1.2. Por otro lado, en los valores obtenidos como media, en base al criterio “claridad”, solo se da un ítem (38) cuyo valor es cuatro, manifestándose desviaciones típicas mayores a 1 en cinco casos (11, 16, 20, 36 y 38).

En relación con el RVC, el IVC y el CVC correspondiente a esta sección, los resultados que se obtienen son los reflejados en la tabla 3.

Tabla 3
Sección 3: RVC, IVC y CVC (Modificaciones efectuadas, en fucsia los no modificados y en verde los modificados).

Nuevamente, siguiendo los mismos criterios aplicados a secciones anteriores, en el apartado de pertinencia solo en tres ítems (2, 19 y 33) su RVC se encuentra por debajo del 0.80 y de 0.76, aplicando los criterios tanto de Davis como de Lawshe, respectivamente. En estos casos, todos presentaban una desviación típica igual o superior a 1.00. En lo que respecta a la claridad, son 5 los ítems que presentan valores por debajo de estos límites (11, 16, 20, 37 y 38). El IVC tiene el valor de 0.90 en ambos aspectos, superior a lo que proponen ambas escalas para el índice de aceptación de los ítems. En relación con el CVC, todos los ítems en el apartado de pertinencia y el de claridad, presentan un valor por encima del 0.80. Los cambios efectuados se muestran en la figura 3.


Figura 3
Acciones efectuadas en los ítems de la sección 3

Sección 4

Finalmente, la sección 4 del cuestionario, conformado por veinte preguntas que hacen referencia al grado de frecuencia en la que el sujeto participante realiza determinadas acciones, pueden encontrarse valores generales particularmente favorables, en relación con el grado de acuerdo de los expertos. La moda, como en todos los demás ítems del cuestionario, es 5, las medias, tanto de la pertinencia como de la claridad, no muestran ningún valor inferior a 4. En relación a las desviaciones típicas, la referida a la pertinencia presenta únicamente dos ítems con puntuaciones numéricas superiores a 1 (1 y 13) y, la referente a la claridad, solo manifiesta un ítem (13) con un valor exacto a 1.

En relación con el RVC, el IVC y el CVC correspondiente a esta sección los resultados que se obtienen son los reflejados en la tabla 4.

Tabla 4
Sección 4: RVC, IVC y CVC Modificaciones efectuadas, en fucsia los no modificados y en verde los modificados).

Si seguimos los mismos criterios aplicados a ítems de secciones anteriores, en el apartado de pertinencia únicamente dos ítems (1 y 18) manifiestan un RVC por debajo del 0.80 y de 0.76, aplicando los criterios de Davis y de Lawshe, respectivamente. En la claridad, solo el ítem 9 presenta un valor por debajo de estos límites. El IVC tiene el valor de 0.90, en ambos aspectos, superior a lo que proponen ambas escalas para el índice de aceptación de los ítems. En relación con el CVC, todos los ítems en ambos apartados, pertinencia y claridad, presentan un valor por encima del 0.80. Las acciones llevadas a cabo sobre los ítems de esta sección se muestran en la figura 4.


Figura 4
Acciones efectuadas en los ítems de la sección 4

Valoraciones cualitativas del panel de expertos

A continuación, se llevó a cabo un análisis de los comentarios y valoraciones del último apartado de la plantilla de validación, referidas a la estructura y a las características generales del cuestionario.

El primer ítem, sobre la presentación del cuestionario, se evaluó de adecuado a muy adecuado, valores semejantes a los del ítem referido a las instrucciones facilitadas para la realización del cuestionario, valoradas de eficientes a muy eficientes. El tercer ítem evaluado, fue la dificultad o facilidad de responder a las cuestiones planteadas a lo largo del mismo, valorándose entre fácil y normal de contestar. En relación al orden de las preguntas e ítems se consideró, por unanimidad, adecuado; y, el quinto y último ítem referente a la extensión del instrumento, fue valorado entre largo y muy largo.

Tras analizar los diferentes ítems del cuestionario, todos los comentarios, valoraciones y aportaciones que los/as expertos/as recogieron a lo largo de la plantilla y en el apartado de comentarios finales, fueron considerados como datos cualitativos que resultaron de gran utilidad a la hora de tomar decisiones en el proceso de mejora y reelaboración del instrumento. En la tabla 5 se recogen el número de comentarios considerados como unidades de información por ítem.

Tabla 5
Número de comentarios cualitativos por ítem

Las unidades de información se han sistematizado en tres categorías: 1. Aspectos formales (redacción, estructura…), 2. Claridad y 3. Pertinencia, tal y como se hacía de manera cuantitativa.

A continuación, se consideran las preguntas con mayor número de comentarios (4 y 5) que han sido en un total de 6 preguntas, indicando la sección del cuestionario a la que pertenece (S) y el número del ítem (I).

Respecto a las preguntas con 4 comentarios, aparecen S2I2, S2I17 (verfigura 2), S3I3. y S3I16 (verfigura 3). Los expertos indican sugerencias para mejorar la comprensión de la pregunta (claridad), como en el ítem que hacía alusión al problema de la escasez de agua (S2I2): “Podría formularse de una forma más comprensible” (FG). También se encuentran comentarios, respecto a la redacción de la pregunta: “La opción 3 no concuerda gramaticalmente con la pregunta. No sería una respuesta posible, puesto que no permite completar la oración que se plantea en el enunciado de la cuestión” (S2I17, JG)

Respecto a los ítems con 5 comentarios, que han sido la S1I11 (verfigura 1) y la S2I4 (verfigura 2), las unidades de información hacen alusión a mejorar la redacción de la pregunta para facilitar su comprensión (claridad), como se visualiza en las siguientes reflexiones, “no se entiende bien lo que se pretende. Tampoco creo que está clara para los estudiantes la relación entre la pregunta y las opciones que se ofrecen” (S2I4, EG) y “Creo que se puede cambiar la redacción, me parece confusa” (S2I4SG)

En el apartado de observaciones finales, se han recogido valoraciones de 7 de los 10 expertos, coincidiendo todos en la extensión de cuestionario (verfiguras 2, 3 y 4): “El cuestionario es muy largo y podía acortarse algo intentando suprimir preguntas que puedan ser repetitivas o redundantes” (OF, JE)

Asimismo, hay una unidad de información que realiza propuestas de mejora, indicando posibles temas a incorporar en el cuestionario (verfigura 3): “…echo en falta referencias o preguntas sobre (…) Cómo se está viviendo y lo que puede significar el confinamiento (…)” (JF)

Resultados obtenidos tras la prueba piloto
Resultados Sección 1 (datos demográficos), 2 (conocimientos ambientales)

Teniendo en cuenta que a estas tres secciones no podía aplicarse la prueba Alfa de Cronbach, se ha seguido el siguiente análisis.

La sección 1 referida a datos demográficos ha sido sometida a un análisis cualitativo de las respuestas, algo que ha permitido determinar que los/as participantes han sido capaces de responder adecuadamente a los diferentes ítems, sin manifestar ningún tipo de duda al respecto.

En la sección 2, de una única respuesta correcta entre varias opciones, se empleó como criterio de análisis, de una parte, el índice de dificultad y, de otra, el índice de discriminación. No obstante, la aplicación de estos índices, hay que hacerla con ciertas reservas, entendiendo la intencionalidad de los ítems considerados. En nuestro caso, los resultados obtenidos en el índice de dificultad se muestran en la tabla 6.

Tabla 6
Índice de dificultad

Este índice de dificultad se calcula simplemente dividendo el número de personas que contestó correctamente al ítem, dividido entre el número total de personas que lo respondieron, y se suele representar con la letra p, indicando la dificultad del ítem (Crocker y Algina 1986). Se trata de una proporcionalidad inversa (Wood 1960), es decir, a menor valor de p, mayor índice de dificultad. Para la interpretación de este índice de dificultad, podemos aceptar la propuesta de Backhoff et al. (2000). En este sentido la dificultad media debe estar entre 0.5 y 0.6. En nuestro caso es de 0.5, tal y como se presenta en la tabla.

Entre los posibles valores 0 (máxima dificultad) y 1 (mínima dificultad), Backhoff et al. (2000) establecen cinco intervalos (tabla 7). Según los datos de frecuencia de la tabla 7, el 71.44 % de los ítems tienen una dificultad media. Este valor está relativamente desviado de lo propuesto por Backhoff et al. (2000), que indica que el 90 % de los ítems deben tener una dificultad media. En nuestro caso, los ítems considerados fáciles (7.14 %), están próximos al 5 % propuesto por estos autores, aunque nos distanciamos en el caso de los ítems difíciles (21.43%), que también proponen un 5 %.

Tabla 7
Escala del índice de dificultad

Para determinar el índice de discriminación (Di) de cada uno de los ítems, de entre las propuestas que se realizan en la literatura, hemos decidido calcularlo de la siguiente manera:

En este caso, Di representa el índice de discriminación; Gsaciertos es el Grupo Superior de aciertos, es decir, el número de aciertos para el ítem i, por el 25 % (primer cuartil) de los participantes con más aciertos en este apartado del cuestionario; GIaciertos el Grupo Inferior de aciertos, es decir, el número de aciertos para el ítem i, por el 25 % (cuarto cuartil) de los participantes con menos aciertos en este apartado del cuestionario; y, por último, N GS hace referencia a los sujetos en el grupo mayor Gs o Gi.

Los resultados obtenidos para los valores de Di en los ítems correspondientes son los que se muestran en la tabla 8.

Tabla 8
Índices de discriminación de los ítems

La clasificación de los ítems, relativa al índice de discriminación, se ha realizado siguiendo la propuesta de Ebel y Frisbie (1986), manifestando los siguientes resultados: 9 excelente, 1 bueno y 4 pésimos; lo que nos lleva a hacer las siguientes salvedades. En estos ítems de respuesta correcta, entre las opciones que se presentan (4 en trece de los ítems y 5 en uno de ellos), no se plantea la opción de “desconozco la respuesta” como opción a marcar, con lo cual, ante la obligatoriedad de responder al ítem, se consideran incorrectas todas las posibles respuestas menos una. Incluso en el ítem 5 que se presenta la opción de “no lo sé”, cuando el participante ha marcado esta opción se ha considerado incorrecta. Por tanto, al no tratarse de una respuesta dicotómica, la aplicación de este índice de discriminación presenta las dudas correspondientes a las preguntas acertadas o no por los participantes de forma certera, o por el llamado factor adivinatorio.

Otro aspecto que nos gustaría indicar, es que la intencionalidad de algunos de los ítems que aparecen con resultados de pésimos en discriminación, se plantearon de forma que ese resultado fuera previsible por su formulación de partida. Nos referimos a los ítems 3, 4 y 7, cuya formulación se realizó utilizando expresiones muy próximas a una definición académica, y la idea era comprobar si esa forma de expresar el ítem facilitaba la respuesta correcta como así ha ocurrido, con un porcentaje de aciertos del 77 %, 50% y 90%, respectivamente. En otro sentido, pero con el mismo efecto en el coeficiente de discriminación, ocurre con el ítem 2 que, al plantearlo, éramos conscientes de la dificultad que entrañaba y, efectivamente, ha obtenido un porcentaje de aciertos únicamente del 7%.

Finalmente, destacar que el cuestionario no se trata de una prueba de evaluación, que son a las que se aplican preferentemente estos índices de dificultad y discriminación, sino de una herramienta que nos aporte información suficiente y necesaria para poder acometer procesos de ALFAM a partir de información previa y concreta del alumnado.

En resumen, los resultados presentados reflejan que una mayoría de los ítems de esta sección, 10 de los 14 (71 % entre excelentes y buenos), son apropiados y pertinentes, pues puede establecerse una discriminación entre sujetos de la muestra que conocen o no conocen la respuesta correcta. El resto de los ítems, 4 de 14 (29 % pésimos), son los que esperamos se corrija su índice de discriminación al añadirle la opción de “lo desconozco”, tal y como se ha indicado anteriormente.

Resultados Sección 3.1 y 4

Teniendo en cuenta que el objetivo que se persigue al emplear el coeficiente de Alfa de Cronbach reside en determinar como de fiable, coherente y consistente es el instrumento a la hora de aplicarlo de forma repetida en otros contextos similares, y que los estudios marcan como mínimo un coeficiente de 0,6 (Godoy et al. 2008, Soler et al. 2009, Sturmey et al. 2005) o 0,7 (Oviedo y Campo 2005), tras la prueba piloto se procedió a calcular dicho valor para las secciones 3.1 (acuerdo/desacuerdo) y 4 (referida a frecuencia), ya que ambas fueron presentadas en una escala Likert con valores de 0 a 5.

Ambas secciones obtuvieron un coeficiente total de 0,869, valor que refleja, de forma clara y evidente, un resultado bastante favorable, donde las preguntas e ítems incluidos en el instrumento presentan coherencia interna y fiabilidad.

Una vez estudiados los resultados de cada uno de los ítems de ambas secciones, el programa determinó siete ítems (S3I6, S3I9, S3I17, S3I28, S3I29, S3I32, S4I17) que, de eliminarse, podrían suponer un aumento en el coeficiente, aumentándose a un valor de 0,870 en un 86% y a un 0,873 en un 14% (únicamente S3I9). Ante estos resultados, decidió realizarse una prueba suprimiendo los 7 ítems con el fin de analizar cuánto aumentaba el Alfa de Cronbach total. Una vez eliminados y sometidos los ítems de ambas secciones a este análisis, se pudo comprobar que el coeficiente total pasaba de ser de 0,869 a 0,883.

Paralelamente a este proceso, se analizaron las puntuaciones de media y desviación típica (en claridad y pertinencia) de estos siete ítems y se decidió volver a rescatar las aportaciones y valoraciones obtenidas en el panel de expertos/as de cada uno de los ítems señalados, con el fin de analizar si se proponían cambios relevantes que justificasen la eliminación de algún o algunos de ellos. Sin embargo, tras analizarlo detenidamente, se ha decidido no eliminar ningún ítem debido a que la diferencia de eliminar uno o algunos de ellos supone un cambio poco significativo, solo de un 0.014 (1.4%) en el Alfa de Cronbach.

Valoraciones cualitativas de la prueba piloto

El alumnado también ha realizado anotaciones en el cuestionario, aunque han sido bastante escasas, recogiendo un total de 9 unidades de información. Se han sistematizado de igual forma en el caso de las valoraciones del panel de expertos, aunque teniendo en cuenta que algunas unidades se refieren a otros aspectos.

Respecto a la claridad de la pregunta, hay unidades de información que indican que:

“En algunas de las preguntas de la primera parte no sabía la respuesta, pero he tenido que elegir una de las respuestas, y puede ser la correcta por azar. Deberían incluir una opción de no se” (MAAM) o “Hay algunas preguntas de la segunda y tercera parte del cuestionario que no entendía, por tanto, mi respuesta ha sido indiferencia” (JNB); cruzándose con resultados obtenidos tras el panel de expertos.

En una unidad de información, hacen alusión a la extensión del cuestionario. En cambio, en tres de ellas les ha parecido claro y adecuado, entre las que resaltamos una que vincula este cuestionario con una función formativa del mismo: “Esta planteado de una forma muy clara y completa. Me ha gustado mucho realizarlo porque me he replanteado sobre los pocos actos que hago a favor y los muchos que hago en contra, todo por falta de información” (MAG).

Versión definitiva del cuestionario

Una vez obtenidos los resultados de ambas pruebas (tanto del panel de personas expertas como de la prueba piloto), se procedió a determinar la versión final y última del cuestionario. Por razones de extensión de este trabajo, no es posible añadir el cuestionario tal y como quedó después de la validación de expertos y la prueba piloto, pero esta versión se puede consultar online en: https://docs.google.com/forms/d/e/1FAIpQLSfvJllMt8KHisTzqUduZh1EQVtSbjijvR0I5AmG6vOQMqaYhw/viewform?usp=sf_link

Conclusiones, limitaciones e indicaciones para futuras investigaciones

Teniendo en cuenta los objetivos y problemas iniciales que se planteaban, conocer qué procesos deben llevarse a cabo para la validación por juicio de expertos y prueba piloto de un cuestionario que posibilite determinar cuál es el nivel de ALFAM del profesorado en formación de Educación Infantil y Primaria, cabría destacar que este trabajo ha permitido conocer en mayor profundidad el proceso que debe emprenderse para llevar a cabo el proceso anteriormente indicado. Adentrarnos en el mismo, así como los resultados obtenidos, ha posibilitado, a nuestro entender, la elaboración de un instrumento consistente que resulta fiable y posibilita detectar el grado de ALFAM de este colectivo. Esto, indudablemente, resulta verdaderamente útil y permite, a partir de ahora, poder aplicarlo con seguridad en próximas investigaciones.

El cuestionario diseñado y validado, y cuyo proceso se ha presentado en este estudio, tiene como valor que se ajusta y atiende al marco teórico en el que nos situamos, de tal forma que el eje principal, marcado por la educación “en” y “para” el decrecimiento y los problemas socioambientales, se basa en un modelo didáctico que gira en torno al pensamiento complejo y crítico y a la construcción del conocimiento, algo que se ha visto representado en los diferentes ítems y cuestiones que conforman el instrumento.

Además, otro valor añadido que consideramos apropiado resaltar, es el hecho de haber incluido ítems que hacen referencia a aspectos emocionales, que han estado ausentes en todos aquellos cuestionarios que se han tomado como referencia para el diseño del propio.

Consideramos que este tipo de instrumentos tiene una gran potencialidad en estudios con muestras amplias, ya que permitiría establecer interrelaciones entre las dimensiones y extraer modelos, necesarios y relevantes para la creación de estrategias en la formación inicial. Con el instrumento diseñado, se ha llevado a cabo una primera aproximación al análisis de clusters con una muestra de 162 participantes (Guerrero et al. 2022b). Posteriormente, se seguirá avanzando aplicándolo a una muestra más amplia, realizando un análisis de clusters y de conglomerados que permita extraer modelos, así como diferentes niveles, en relación a las dimensiones presentes en los distintos ítems del cuestionario. Asimismo, facilitaría realizar estudios de contingencia que aporten información acerca de las posibles interrelaciones y dependencias entre las variables demográficas y los ítems planteados, pudiendo ser tenidas en cuentas, a su vez, las dimensiones abordadas.

Aunque pueda parecer una limitación el hecho de presentar un instrumento de forma aislada, resaltamos que este cuestionario adquiere sentido dentro del marco de una metodología que emplea múltiples instrumentos (tanto cualitativos como cuantitativos), que se combinan y se interrelacionan entre sí, y como una parte de un proyecto más amplio. En este caso, el cuestionario sería empleado para sondear las ideas iniciales y finales del alumnado tras la aplicación de una propuesta didáctica diseñada para abordar la ALFAM. Éste sería triangulado con otros instrumentos de recogida de datos como son los grupos de discusión, las entrevistas, el análisis de los trabajos y producciones del alumnado y el diseño de la propuesta didáctica de las docentes. Sin embargo, en este estudio hemos querido centrarnos en esta primera fase de validación del primer instrumento que va a ser aplicado.

Una de las principales limitaciones que hemos percibido en este estudio ha sido que, a la hora de plantear al alumnado preguntas cerradas, específicamente en la sección 2 referida a preguntas de una única respuesta correcta, el hecho de no haber incorporado en todos los ítems la opción “No conozco la respuesta/No sé”, ha podido provocar que algunos sujetos escojan una opción de forma azarosa o siguiendo un criterio de “deseabilidad social”, algo que podría distorsionar los resultados obtenidos en dicha sección, este ha sido uno de los cambios importantes incluidos tras el proceso de validación, y que esperemos mejore los índices de discriminación de estos ítems. Asimismo, consideramos limitado el número de participantes de la prueba piloto, ocasionado por la situación de pandemia en la que vivíamos, siendo necesario utilizar una muestra más amplia,

A la hora de diseñar y analizar el cuestionario, es posible que, debido a que la temática que se ha pretendido tratar es muy amplia, quizá el instrumento no pueda abordar todas las temáticas, dimensiones, categorías y subcategorías de manera equitativa, ya que, si se pretende incluir todas, la extensión del cuestionario resultaría excesiva.

Resulta destacable indicar que el objeto del estudio planteado al inicio del proceso de investigación, se ha cumplido de manera, pensamos, satisfactoria. Se ha tratado de una tarea de fundamentación, diseño, análisis y validación, donde los pasos que se han ido dando han servido de impulso y de resorte para continuar hacia el siguiente, para la elaboración del CDA definitivo y para cerrar fases y abrir, a su vez, nuevos interrogantes, preguntas y dudas que han hecho de esta investigación una investigación viva que no ha dejado de evolucionar.

En otro orden de cosas, podríamos destacar que, partiendo de los resultados de este trabajo y teniendo en cuenta que se trata de una muestra y estudio pilotos, en el profesorado en formación inicial de Educación Infantil y Primaria, se evidencia una formación escasa y, por tanto, un bajo nivel de ALFAM en relación a las problemáticas socioambientales. Esto, indudablemente, nos lleva a confirmar la necesidad de que este tipo de procesos formativos sean incluidos de forma inminente en el currículo escolar, especialmente en los destinados a la formación de los futuros docentes encargados de educar a las siguientes generaciones.

Material suplementario
Información adicional

Para citar este artículo: Guerrero Fernández, A., Rodríguez Marín, F., Solís Ramírez, E. y García Díaz, J. E. (2022) Validación de un cuestionario mediante juicio de expertos para conocer el grado de Alfabetización Ambiental. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias 19(3), 3101. doi: 10.25267/Rev_Eureka_ensen_divulg_cienc.2022.v19.i3.3101

Agradecimientos

Este estudio forma parte de la fase de recogida y de análisis de datos del trabajo de investigación de la Tesis Doctoral de Alicia Guerrero Fernández dirigida por Fátima Rodríguez Marín, Emilio Solís Ramírez y J. Eduardo García Díaz. Asimismo, también se enmarca en la fase preparatoria del proyecto “Alfabetización ambiental. Un desafío para la formación del profesorado del siglo XXI” (PID2020-114171GB-I00) de la convocatoria 2020, aprobado por los Programas Estatales de Generación de Conocimiento y Fortalecimiento Científico y Tecnológico del Sistema de I+D+i. Se trata de un proyecto cuya finalidad reside en diseñar y aplicar un proyecto de investigación en torno a la alimentación ecológica y estudiar su impacto en el nivel de ALFAM en la formación inicial docente en Educación Infantil y Primaria de las diferentes facultades de Ciencias de la Educación de la Comunidad Autónoma de Andalucía.

Referencias bibliográficas
Aksit. O., McNeal K., Gold A., Libarkin J., Harris S. (2018) The Influence of Instruction, Prior Knowledge, and Values on Climate Change Risk Perception Among Undergraduates. Journal of Research in Science Teaching, 55(4), 550-572. https://doi.org/10.1002/tea.21430
Álvarez-García O., Sureda-Negre J., Comas-Forgas R. (2015) Environmental Education in Pre-Service Teacher Training: A Literature Review of Existing Evidence. Journal of Teacher Education for Sustainability, 17(1), 72-85. https://doi.org/10.1515/jtes-2015-0006
Álvarez-García O., Sureda Negre J., Comas Forgas R. (2018a) Diseño y validación de un cuestionario para evaluar la alfabetización ambiental del profesorado de primaria en formación inicial. Profesorado: Revista de Currículum y Formación de Profesorado, 22(2), 265-284. https://www.doi.org/10.30827/profesorado.v22i2.7725
Álvarez-García O., Sureda Negre J., Comas Forgas R. (2018b) Evaluación de las competencias ambientales del profesorado de primaria en formación inicial: estudio de caso. Enseñanza de las ciencias, 36(1), 117-141. https://doi.org/10.5565/rev/ensciencias.2338
Backhoff, E., Larrazolo, N., Rosas, M. (2000) Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2(1). http://redie.ens.uabc.mx/vol2no1/contenido-backhoff.html
Bakieva M., Jornet J., González-Such J., Leyva Y. (2018) Colegialidad docente: evidencias de validación a partir del análisis realizado por comités de expertos acerca del instrumento para autoevaluación docente en España y México. Estudios sobre educación, 34, 99-127. https://doi.org/10.15581/004.34.99-127
Bautista Cerro M.J., Murga Menoyo M.A., Novo M. (2019) La Educación Ambiental (página en construcción, disculpen las molestias). Revista de Educación Ambiental y Sostenibilidad, 1(1), 1103. https://revistas.uca.es/index.php/ReAys/index
Boyes E., Skamp K., Stanisstreet M. (2009) Australian Secondary Students’ Views About Global Warming: Beliefs About Actions, and Willingness to Act Published. Research Science Education, 39, 661–680. https://doi.org/10.1007/s11165-008-9098-5
Cabello S., Carrera F.X. (2017) Diseño y validación de un cuestionario para conocer las actitudes y creencias del profesorado de educación infantil y primaria sobre la introducción de la robótica educativa en el aula. EDUTEC. Revista Electrónica de Tecnología Educativa, 60, 1-22. https://doi.org/10.21556/edutec.2017.60.871
Cabero J., Llorente M.C. (2013) La Aplicación del Juicio de Experto como Técnica de Evaluación de las Tecnologías de la Información y Comunicación (TIC). Revista de Tecnología de Información y Comunicación en Educación, 7, 11-22.
Coyle K. (2005) Environmental literacy in the U.S.: What ten years of NEETF/Roper research and related studies say about environmental literacy in the United States. The National Environmental Education & Training Foundation. https://files.eric.ed.gov/fulltext/ED522820.pdf
Creswell J.W., Garrett A.L. (2008) The “movement” of mixed methods research and the role of educators. South African Journal of Education, 28, 321-333. https://doi.org/10.15700/saje.v28n3a176
Crocker L., Algina J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.
Davis L.L. (1992) Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5, 194-197. https://doi.org/10.1016/S0897-1897(05)80008-4
Ding D.S., Hershberger S. (2002) Assessing Content Validity and Content Equivalence Using Structural Equation Modeling. Structural Equation Modeling, 9(2), 283-297. https://doi.org/10.1207/S15328007SEM0902_7
Dorantes-Nova J., Hernández-Mosqueda J., Tobón-Tobón S. (2016) Juicio de expertos para la validación de un instrumento de medición del síndrome de burnout en la docencia. RAXIMHAI, 12(6), 327-346. http://www.redalyc.org/articulo.oa?id=46148194023
Ebel R.L., Frisbie D.A. (1986) Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall.
Escobar Pérez J., Cuervo Martínez A. (2008) Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en medición, 6, 27-36. http://www.humanas.unal.edu.co/psicometria/files/7113/8574/5708/Articulo3_Juicio_de_expertos_27-36.pdf
Fernández Durán R. y González Reyes L. (2018) En la espiral de la energía. Madrid: Libros en Acción, Baladre.
García Díaz J.E., Fernández Arroyo J., Rodríguez Marín F., Puig Gutiérrez M. (2019b) Más allá de la sostenibilidad: por una educación ambiental que incremente la resiliencia de la población ante el decrecimiento/colapso. Revista de Educación Ambiental y Sostenibilidad, 1(1), 1101-15. https://revistas.uca.es/index.php/REAyS/article/view/4782/5327
García Díaz J.E., Rodríguez Marín F., Fernández Arroyo J., Puig Gutiérrez M. (2019a) La educación científica ante el reto del decrecimiento. Alambique, 94, 47-52. https://dialnet.unirioja.es/servlet/articulo?codigo=6770356
Godoy D., Godoy J.F., López I., Martínez A., Gutiérrez S., Vázquez L. (2008) Propiedades psicométricas de la escala de autoeficacia para el afrontamiento del estrés (EAEAE). Psicothema, 20(1), 155-165. http://www.psicothema.com/pdf/3442.pdf
Goldman D., Yavetz B., Peer S. (2006) Environmental literacy in teacher training in Israel: environmental behavior of new students. Journal of Environmental Education, 38, 3-22. https://doi.org/10.3200/JOEE.38.1.3-22
Guerrero Fernández A., Rodríguez Marín F., López Lozano L., Solís Ramírez E. (2022a) Alfabetización ambiental en la formación inicial docente: diseño y validación de un cues­tionario. Enseñanza de las Ciencias, 40(1), 25-46. https://doi.org/10.5565/rev/ensciencias.3517
Guerrero Fernández A., Rodríguez Marín F., Solís Ramírez E., Rivero García A. (2022b) Alfabetización ambiental del profesorado de Educación Infantil y Primaria en formación inicial. Revista Interuniversitaria De Formación Del Profesorado. Continuación De La Antigua Revista De Escuelas Normales, 97(36.1). https://doi.org/10.47553/rifop.v97i36.1.92434
Hernández-Sampieri R., Fernández-Collado C., Baptista-Lucio P. (2010) Metodología de la investigación. McGraw-Hill Interamericana.
Hernández-Nieto R. A. (2002) Contribution to Statistical Analysis. Mérida, Venezuela: Universidad de Los Andes.
Hidalgo M.C., Pisano E.I. (2010) Predictores de la percepción de riesgo y del comportamiento ante el cambio climático: Un estudio piloto. Psyecology, 1(1), 39-46. http://hdl.handle.net/10261/87119
Lawshe C. H. (1975) A quantitaive aprproach to content validity. Personnel Psychology, 28. 563-575.
Liang S.W., Fang W.T., Yeh S.C., Liu S.Y., Tsai H.M, Chou J.Y., Ng E. (2018) A Nationwide Survey Evaluating the Environmental Literacy of Undergraduate Students in Taiwan. Sustainability, 10, 1730. https://doi.org/10.3390/su10061730
López de Arana E., Aramburuzabala P., Opazo H. (2020) Diseño y validación de un cuestionario para la autoevaluación de experiencias de aprendizaje-servicio universitario. Educación XX1, 23(1), 319-347. https://doi.org/10.5944/educxx1.23834
Mello O'Brien S.R. (2007) Indications of environmental literacy: Using a new students knowledge, and attitudes of university-aged survey instrument to measure awareness [Tesis doctoral, Iowa State University] https://lib.dr.iastate.edu/cgi/viewcontent.cgi?article=16054&context=rtd
Mellado V., Borrachero A.B., Brígido M., Melo L.V., Dávila M.A., Cañada F., Conde M.C., Costillo E., Cubero J., Esteban R., Martínez G., Ruiz C., Sánchez J. (2014) Las emociones en la enseñanza de las ciencias. Enseñanza de las Ciencias, 32(3), 11-36. http://dx.doi.org/10.5565/rev/ensciencias.1478
Oviedo H.C., Campo A. (2005) Aproximación al uso del coeficiente alfa de Cronbach. Revista Colombiana de Psiquiatría, 34(4), 572-580. http://www.scielo.org.co/pdf/rcp/v34n4/v34n4a09.pdf
Ozsoy S., Ertepinar H., Saglam N. (2012) Can eco-schools improve elementary school students’ environmental literacy levels? Asia-Pacific Forum on Science Learning and Teaching, 13(2), 3. https://www.eduhk.hk/apfslt/download/v13_issue2_files/ozsoy.pdf
Pedrosa I., Suárez-Álvarez J., García-Cueto E. (2013) Evidencias sobre la Validez de Contenido: Avances Teóricos y Métodos para su Estimación [Content Validity Evidences: Theoretical Advances and Estimation Methods]. Acción Psicológica, 10(2), 3-18. http://dx.doi.org/10.5944/ap.10.2.11820
Prats F., Herrero Y., Torrego A. (2017) La Gran Encrucijada. Madrid: Libros en Acción /Icaria.
Roth C.E. (1992). Enviromental Literacy: Its Roots, Evolution and Directions in the 1990s. Columbus, OH: ERIC Clearinghouse for Science, Mathematics, and Environmental Education.
Ruiz-Olabuénaga J.I. (2012) Metodología de la investigación cualitativa. Bilbao: Publicaciones de la Universidad de Deusto.
Santiago del Pino M., Goenechea C., Romero Oliva M.F. (2019) Consulta a los docentes de formación inicial de profesorado de secundaria en torno a la alfabetización mediática e informacional. Diseño y validación del cuestionario. Revista Complutense de Educación, 30(4), 1045-1066. https://doi.org/10.5209/rced.60000
Soler S., Rodríguez R., Fernández B., Moreno M. (2009) Análisis de confiabilidad del test de habilidades múltiples para el ingreso a las carreras de ciencias médicas. Escuela Nacional de Salud Pública. Revista Cubana Educación Médica Superior, 16(4), 2. http://bvs.sld.cu/revistas/ems/vol16_4_02/ems03402.htm
Sturmey P., Newton J.T., Cowley A., Bouras N., Holt G. (2005) The PAS-ADD checklist: independent replication of its psychometric properties in a community sample. The British Journal of Psychiatry, 186(4), 319-323. https://doi.org/10.1192/bjp.186.4.319
Sulaiman M., Shamsa S. (2014) The effect of environmental science projects on students’ environmental knowledge and science attitudes. International Research in Geographical and Environmental Education, 23 (3), 213-227. http://dx.doi.org/10.1080/10382046.2014.927167
Taibo C. (2017) El colapso. Madrid: Los Libros de la Catarata.
Tal T. (2010) Pre-service teachers’ reflections on awareness and knowledge following active learning in environmental education. International Research in Geographical and Environmental Education, 19(4), 263-276. https://doi.org/10.1080/10382046.2010.519146
Turiel A. (2020) Petrocalipsis. Crisis energética y cómo (no) la vamos a solucionar. Madrid: Alfabeto.
Wood D.A. (1960) Test Construction: Development and Interpretation of Achievement Tests. Columbus, OH: Charles E. Merrill Books, Inc.
Notas
Notas
[1] El IVC para el instrumento en su conjunto, es un promedio de la validez de contenido de todos los ítems seleccionados en el paso previo, mediante el RVC.
[2] El Coeficiente de Validez de Contenido (CVC) mide el nivel de acuerdo entre los jueces o expertos en relación a los diferentes ítems y al instrumento en general.
[3] La Razón de Validez de Contenido analiza y determina qué ítems del instrumento son considerados adecuados y, por tanto, deben conservarse.
Tabla 1
Sección 1 RVC IVC y CVC Modificaciones efectuadas en fucsia los no modificados y en verde los modificados


Figura 1
Acciones efectuadas en los ítems de la sección 1
Tabla 2
Sección 2: RVC, IVC y CVC (Modificaciones efectuadas, en verde los modificados).


Figura 2
Acciones efectuadas en los ítems de la sección 2
Tabla 3
Sección 3: RVC, IVC y CVC (Modificaciones efectuadas, en fucsia los no modificados y en verde los modificados).


Figura 3
Acciones efectuadas en los ítems de la sección 3
Tabla 4
Sección 4: RVC, IVC y CVC Modificaciones efectuadas, en fucsia los no modificados y en verde los modificados).


Figura 4
Acciones efectuadas en los ítems de la sección 4
Tabla 5
Número de comentarios cualitativos por ítem

Tabla 6
Índice de dificultad

Tabla 7
Escala del índice de dificultad

Tabla 8
Índices de discriminación de los ítems

Buscar:
Contexto
Descargar
Todas
Imágenes
Visor de artículos científicos generados a partir de XML-JATS4R por Redalyc