Resumen: El objetivo del trabajo fue validar un cuestionario TPACK para su uso en docentes, en relación con el uso de programas de inteligencia artificial generativa. Se realizaron pruebas de confiabilidad, así como análisis factorial exploratorio y confirmatorio, evidenciando la existencia de tres factores. El instrumento utilizado muestra elevada consistencia interna de las distintas dimensiones: CK+PK+PCK (.882), TK (.918) y TCK+TPK+TPACK (.964). Se identifica un desafío en la medición del conocimiento bajo el modelo TPACK, requiriendo adaptación a diferentes contextos y áreas de contenido. En conjunto, se confirma que esta versión española del cuestionario TPACK adaptada para contextos de inteligencia artificial generativa es una herramienta válida y fiable para evaluar el conocimiento tecnológico, pedagógico y disciplinar en profesores, especialmente relacionado con inteligencia artificial generativa.
Palabras clave: TPACK, Conocimiento tecnológico, Conocimiento pedagógico, Conocimiento disciplinar, Inteligencia artificial generativa.
Abstract: The aim of the study was to validate a TPACK questionnaire for use in teachers, specifically concerning the use of generative artificial intelligence. Reliability tests, exploratory, and confirmatory factor analysis were conducted, demonstrating the existence of three factors. The assessment tool used exhibits high internal consistency, with dimensions ranging between CK+PK+PCK (.882) and TCK+TPK+TPACK (.964). A challenge is identified in measuring knowledge under the TPACK model, requiring adaptation to diverse contexts and content areas. Overall, this Spanish version of the TPACK questionnaire for generative artificial intelligence is confirmed as a valid and reliable tool for assessing technological, pedagogical, and disciplinary knowledge in teachers, particularly regarding generative artificial intelligence.
Keywords: TPACK, Technological knowledge, Pedagogical knowledge, Disciplinary knowledge, Generative artificial intelligence.
Resumo: O objetivo do estudo foi validar um questionário TPACK para ser utilizado com professores, especificamente em relação à utilização da inteligência artificial generativa. Foram realizados testes de fiabilidade, bem como análises factoriais exploratórias e confirmatórias, que revelaram a existência de três factores. O instrumento utilizado apresenta uma consistência interna elevada, com dimensões entre CK+PK+PCK (.882) e TCK+TPK+TPACK (.964). Identifica-se um desafio na medição do conhecimento segundo o modelo TPACK, que requer adaptação a diferentes contextos e áreas de conteúdo. Em termos gerais, confirma-se que a versão espanhola do questionário TPACK em relação à utilização da inteligência artificial generativa é uma ferramenta válida e fiável para avaliar os conhecimentos tecnológicos, pedagógicos e disciplinares dos professores, especialmente os relacionados com a inteligência artificial generativa.
Palavras-chave: TPACK, Conhecimento tecnológico, Conhecimento pedagógico, Conhecimento disciplinar, Inteligência artificial generativa.
Monográfico
VALIDACIÓN Y ESTRUCTURA FACTORIAL DE UN CUESTIONARIO TPACK EN EL CONTEXTO DE INTELIGENCIA ARTIFICIAL GENERATIVA (IAG)1
VALIDATION AND FACTORIAL STRUCTURE OF A TPACK QUESTIONNAIRE IN THE CONTEXT OF GENERATIVE ARTIFICIAL INTELLIGENCE (GAI)
VALIDAÇÃO E ESTRUTURA FACTORIAL DE UM QUESTIONÁRIO TPACK NO CONTEXTO DA INTELIGÊNCIA ARTIFICIAL GENERATIVA (IAG)
Recepción: 22 Noviembre 2023
Aprobación: 01 Enero 2024
La integración de distintas tecnologías digitales en contextos educativos ha evolucionado drásticamente en las últimas décadas, evidenciando la necesidad crucial de enfocarse en la formación continua del cuerpo docente para asegurar su efectiva implementación en los centros educativos (Harris et al., 2009; Sevillano y Fuero, 2013).
Actualmente, la irrupción de herramientas de inteligencia artificial generativa, como ChatGPT (texto) o Dall-E (imágenes) ha sido un revulsivo en el ámbito educativo en el que las primeras percepciones han sido sobre las posibilidades de su uso y su potencial (García-Peñalvo, 2023; Saz-Pérez y Pizà-Mir, 2024).
No obstante, se ha evidenciado que muchos docentes carecen de la preparación necesaria para utilizar las Tecnologías de la Información y la comunicación (en adelante TIC) del mejor modo en su labor educativa (Chai et al., 2010;Torres-Díaz e Infante-Moro, 2011), así como muestran poco interés y participación en proyectos de investigación educativa (Pizà-Mir et al., 2023), más aún si tenemos en cuenta estas tecnologías de inteligencia artificial generativa, cuya gran expansión surgió el 30 de noviembre de 2022 con el lanzamiento de ChatGPT. La irrupción de la web 3.0 y el creciente uso de tecnología multimedia han reconfigurado los entornos de aprendizaje, ampliando las oportunidades para la adquisición de conocimientos (Rebollo-Catalán y Vico-Bosch, 2014).
La adecuada integración de las TIC en contextos educativos ha presentado desafíos tanto en su implementación en las aulas como en la capacitación y desempeño del personal docente, así como en la evaluación del impacto de su uso en procesos de enseñanza-aprendizaje (Pérez-Rodríguez et al., 2010) debido a la fragilidad pedagógica existente en muchos casos (De Benito et al., 2017).
Se reconoce que, aunque se han incrementado los recursos y se han medido los usos de la tecnología, la formación permanente de los profesores ha sido subestimada en las políticas educativas (Fernández-Díaz y Calvo, 2012) aunque la situación se agrava en el ámbito universitario, donde la incorporación de las TIC en estos procesos de enseñanza y aprendizaje es bastante limitada (Marcelo et al., 2015). Esta brecha entre la promoción tecnológica y el desempeño docente plantea desafíos cruciales en la enseñanza superior (Cabero y Barroso, 2016; Sola et al., 2017; Suárez et al., 2013; Valdivieso y González, 2016; Mercader y Gaidín, 2020; García-Peñalvo, 2023).
Al ser estas tecnologías de inteligencia artificial generativa tan novedosas, la formación inicial del profesorado, independientemente de la etapa educativa, así como el docente que ya se encuentra en ejercicio todavía no han podido formarse mediante cursos de formación permanente, y tampoco han sido incluidas en los planes de estudio de los grados de educación o en la formación didáctica del máster en formación del profesorado para las etapas de secundaria obligatoria o postobligatoria.
El modelo de Conocimiento Tecnológico Pedagógico del Contenido (TPACK) propuesto por Mishra y Koehler (2006, 2008), se fundamenta en la idea propuesta por Shculman (1986; 1987) sobre el conocimiento didáctico del contenido (PCK), y en los trabajos de Grossman (1990), De Vicente (1994), Pierson (2001) o de Angeli y Paladines (2005), aunque es en 2008 cuando cobra mayor fuerza con la integración de las TIC en otros saberes (Borthwick et al., 2008). Este modelo enfatiza la interrelación e interacción de estos componentes (pedagógico, disciplinar y tecnológico) en contextos educativos, y destaca la necesidad de comprender su integración e interrelación en lugar de abordarlos por separado (Cabero, 2014; Cabero y Barroso, 2016).
La formación y capacitación de docentes en su uso, y sobre todo en estas tecnologías generativas, requiere abordar tres componentes fundamentales del conocimiento: tecnológico, pedagógico y disciplinar (Cózar, Zagalaz y Sáez, 2015). La autoeficacia percibida, definida como la valoración personal sobre las propias aptitudes para alcanzar metas, desempeña un papel crucial en la motivación de los individuos, impulsándolos a esforzarse y perseverar ante los desafíos (Bandura, 1987; López et al., 2014). Relacionado con las TIC, la autoeficacia computacional se refiere al juicio subjetivo de una persona sobre sus habilidades informáticas y computacionales (Durán-García y Durán-Aponte, 2013).
Por todo ello, es fundamental conocer las limitaciones y autopercepción del profesorado en cuanto a su formación y su potencial uso para poder establecer directrices y responder a la adaptación de docentes y demás integrantes de la comunidad educativa. De ahí la necesidad de este trabajo para abordar cuál es la autopercepción de aquellos agentes educativos (docentes y docentes en formación) encargados de transmitir y evaluar cómo se integran estas herramientas en el día a día en el aula.
Se hizo una adaptación del cuestionario TPACK (Alemán-Saravia et al., 2023; Paidicán y Arredondo, 2023; Ladrón-de-Guevara et al., 2021) en español para validarlo a los contextos de la inteligencia artificial generativa.
El cuestionario está constituido por 28 ítems (afirmaciones) repartidos en 7 dimensiones de conocimientos, cuya respuesta era medida con una escala tipo Likert de 1 a 5, siendo 1 muy en desacuerdo y 5 muy de acuerdo. En la tabla 1 se indica el número de ítems que corresponden a cada dimensión, y en el anexo se exponen el enunciado de cada uno de ellos. Fue testeado con una N=175, de los cuales 24,2 % fueron hombres y el 75,7 % mujeres.
Para el procesamiento de datos, mediante análisis descriptivos, de confiabilidad y análisis factorial, se utilizó el paquete estadístico Jamovi (The Jamovi project, 2022), a través de un estudio de confiabilidad y consistencia y análisis factorial (exploratorio y confirmatorio)
Se llevaron a cabo los siguientes análisis estadísticos: descriptivo, correlacional, análisis factorial exploratorio, análisis de consistencia interna y fiabilidad y descripción de factores mediante un análisis factorial confirmatorio. Se llevaron a cabo tanto un análisis factorial exploratorio como uno confirmatorio para obtener una comprensión integral y validada de la estructura del cuestionario TPACK adaptado a la inteligencia artificial generativa. El análisis factorial exploratorio permitió explorar las relaciones entre ítems y dimensiones de manera no restrictiva, identificando patrones emergentes. Posteriormente, el análisis factorial confirmatorio validó la estructura identificada durante la exploración, evaluando la concordancia entre los datos y un modelo teórico predefinido. Esta combinación de enfoques fortaleció la validez interna del instrumento, respaldando la solidez de las conclusiones derivadas del estudio.
En la tabla 2 se muestran los descriptivos siguientes: media (M) y desviación estándar (SD), de cada una de las dimensiones, así como la correlación existente entre cada una de ellas
Se observa que las dimensiones relacionadas con la pedagogía y los conocimientos (tanto CK, PK y PCK >3), así como su interacción tienen los valores más elevados, lo que significa que los docentes se sienten cómodos y seguros de sí mismos en cuanto a sus conocimientos respecto a sus materias. Esto se invierte en cuanto a los conocimientos del ámbito tecnológico (resto de dimensiones <3) y las interrelaciones con las demás variables.
También se observa este hecho en las correlaciones de las distintas variables en que los valores más elevados se dan entre aquellas variables de dimensiones similares.
Este hecho vislumbra la posibilidad de que en el análisis factorial se hallen factores que puedan mostrar estas interrelaciones.
El análisis factorial en su gráfica de sedimentación —Figura1— muestra cómo un modelo de 3 factores es el que más se ajusta al constructo, siendo 3 los valores propios superiores o igual a 1 (regla de Kaiser o de caída) para determinar el número de factores. En la tabla 3, se observa un elevado grado de inter-correlación, que se confirma con el grado de significancia en la prueba de esfericidad de Bartlett (<0.01). Así, la hipótesis nula de incorrelación entre variables queda rechazada. La prueba KMO (0.908) indica que la matriz de datos es apropiada para su factorización, así como las medidas de ajuste CFI, TLI, que se encuentran sobre el promedio de 0.9 esperado (Batista-Foguet y Coenders, 2000; Hogan, 2015)
Tras el análisis exploratorio, la distribución de las dimensiones en factores (3) fue como se detalla a continuación.
El análisis de consistencia interna muestra un coeficiente alfa de Cronbach global para el conjunto de dimensiones 0.940, lo que permite señalar que el cuestionario presenta una alta consistencia (Devellis, 2003). Además, en el análisis de correlación ítem-total del cuestionario, sus valores están entre 0.931 y 0.941, lo que permite afirmar que eliminar algunos de ítems no mejoraría la consistencia del instrumento como se observa en la tabla a continuación —Tabla 4—.
El conocimiento tecnológico general (TK; 7 ítems); conocimiento del contenido, conocimiento pedagógico y conocimiento pedagógico del contenido (CK+ PK + PCK; 9 ítems) abordando las temáticas relacionadas con planificación, gestión, evaluación y reflexión, y por último el conocimiento tecnológico del contenido, conocimiento tecnológico pedagógico y conocimiento tecnológico pedagógico del contenido (TCK+ TPK + TPACK; 12 ítems). En conjunto se obtuvieron valores de alfa de Cronbach de 0,918 para el factor TK; 0,882 para el factor CK+PK+PCK y 0.964 para el factor TCK+TPK+TPACK. Los valores de los coeficientes de Cronbach, como señala Gaudagnoli y Velicer (1988) serán fiables independientemente del tamaño de la muestra,y al mismo tiempo (<0.7) se consideran consistentes (Nunnally, 1978).
Esta distribución —Figura 2— y adaptación del cuestionario TPACK coincide en las dimensiones halladas con los estudios de Archambault y Barnett (2010).
En relación con la varianza total, los tres factores explican en un 74.6 % de respuestas del instrumento. El primero, los ítems TK, explican el 38.23 % de los constructos, al mismo tiempo el segundo factor (CK+PK+PCK) y el tercer factor (TCK+TPK+TPACK) explican el 21.69 % y 14.70 % de los constructos respectivamente como se observa en la tabla 5.
En la tabla 6 se reflejan las medias (M), desviaciones típicas (SD), alfa de Cronbach para la consistencia interna y la correlación entre los distintos factores tras el análisis factorial, mostrando una alta correlación entre aquellos factores formados por las dimensiones tecnológicas (Factor 1 y 3)
El α de Cronbach de todo el cuestionario sin tener en cuenta los factores fue de 0.940
Nota: * (p<0.05); ** (p<0.01)
Los resultados del instrumento muestran una consistencia interna alta, con dimensiones que varían entre (0.882; CK+PK+PCK) y (0.964; TCK+TPK+TPACK), lo que señala una estrecha relación entre los elementos de las dimensiones y cada uno de los ítems de forma individual (Henson, 2001).
Sin embargo, el estudio del conocimiento en el marco del modelo TPACK, propuesto por Mishra y Koehler (2006), presenta un desafío ya que los ítems están diseñados para medir este concepto de manera amplia, lo que permite su aplicación en diferentes áreas (como matemáticas o lenguaje). Archambaul y Barnett (2010) destacan la dificultad de elaborar y validar un instrumento adaptable a múltiples casuísticas y áreas de contenido, sugiriendo incluso la necesidad de ajustar la conceptualización del TPACK para cada campo específico.
En síntesis, los resultados del estudio muestran tres aspectos principales: 1) la estructura factorial óptima del cuestionario TPACK en relación con la inteligencia artificial generativa es de tres factores; 2) niveles de fiabilidad satisfactorios; y 3) una validez adecuada, evidenciada por la correlación positiva entre el conocimiento tecnológico (Fc1 o TK) y el conocimiento sobre su aplicación (Fc3 o TCK+TPK+TPACK). Estos hallazgos respaldan la conclusión de que esta versión en español de un cuestionario TPACK para docentes enfocado en el uso de inteligencia artificial generativa, es un instrumento confiable para evaluar el conocimiento tecnológico, pedagógico y disciplinar en el profesorado.
En futuras líneas de investigación, se sugiere abordar la adaptabilidad del cuestionario TPACK a medida que las tecnologías emergentes evolucionan. La rápida aparición de nuevas herramientas y plataformas de inteligencia artificial generativa podría requerir actualizaciones frecuentes del cuestionario para mantener su relevancia y validez. Además, se propone explorar cómo la formación docente puede integrar de manera efectiva el conocimiento adquirido a través del cuestionario en prácticas pedagógicas innovadoras, considerando el impacto en el rendimiento y la motivación del estudiantado.
Adicionalmente, se plantea la necesidad de investigar estrategias específicas para abordar las brechas identificadas en la formación docente en el uso de tecnologías generativas. La falta de cursos de formación permanente y la ausencia de inclusión de estas tecnologías en los planes de estudio son desafíos que deben ser abordados de manera proactiva. La exploración de modelos de capacitación flexibles y adaptativos, así como la integración curricular de temas relacionados con inteligencia artificial generativa, podría ofrecer soluciones prácticas para cerrar esta brecha.
CONTRIBUCIÓN DE LOS AUTORES:: Fabio Saz-Pérez (toma de datos, análisis y redacción del manuscrito), Bartolomé Pizà-Mir (diseño experimental, supervisión y redacción del manuscrito final) y Alexandra Lizana Carrió (diseño experimental, supervisión y redacción del manuscrito final).
FINANCIACIÓN:: Esta investigación no recibió ninguna financiación externa.
bartolome.piza@uib.es
El α de Cronbach de todo el cuestionario sin tener en cuenta los factores fue de 0.940
Nota: * (p<0.05); ** (p<0.01)