HTML

ePub

PDF

Introducción

Ante la necesidad de tender puentes entre investigación y práctica educativa, en las últimas décadas ha aumentado el interés y las investigaciones sobre el proceso y los productos de diseño, así como sobre los resultados de su implementación en las aulas (DBR Collective, 2003; Guisasola et al., 2021). Una prueba de ello es la aparición de la sección “investigaciones de diseño” en la revista Eureka: Revista Eureka sobre Enseñanza y Divulgación de las Ciencias (Guisasola y Oliva, 2020), que sigue la estela iniciada en el reconocido número especial del International Journal of Science Education (IJSE) sobre la temática (Méheut y Psillos, 2004).

A pesar de la existencia de numerosas propuestas de modelos para el diseño de secuencias de enseñanza y aprendizaje (SEAs), la más reconocida a nivel educativo, especialmente en didáctica de las ciencias, es la propuesta de investigación basada en diseño (IBD por sus siglas en español o DBR por sus siglas en inglés) (Guisasola et al., 2017; Kelly et al., 2014; Ortiz Revilla, 2020). En este paradigma, las investigaciones didácticas giran en torno al diseño y/o validación de SEAs para apoyar el aprendizaje del alumnado y a la vez desarrollar teorías sobre la enseñanza y aprendizaje de un tema específico (Guisasola y Oliva, 2020).

A pesar de que no existe una definición totalmente consensuada de SEA, existe un cierto acuerdo en entenderla como la herramienta principal del profesorado para planificar el proceso de enseñanza y aprendizaje de un tema o contenido específico. Tal como expone Couso (2011) las SEAs concretan tanto la visión de la enseñanza y aprendizaje (por qué y para qué aprender), como el trabajo que se llevará a cabo en el aula (qué se enseña y cómo se hace). Por ello, una SEA debe incluir: los objetivos que se persiguen; los materiales, recursos y herramientas didácticas que utilizan los docentes (vídeos, prácticas de laboratorio…); y las actividades que realiza el alumnado (fichas, lecturas, guiones de indagación…). En este trabajo entendemos las SEAs desde una perspectiva amplia, que incluye otros Diseños Instruccionales (DI) complejos como, por ejemplo, los proyectos ABP (Domènech-Casal, 2018) (de aquí en adelante SEA/DI).

Dentro del paradigma IBD una de las fases más importantes del proceso de diseño de las SEAs/DI es la evaluación, ya que esta es clave para la mejora de la calidad de los diseños didácticos, y para el aporte a los principios de diseño que la investigación de la SEA propicie (DBR Collective 2003). Pese a ello, la evaluación de la calidad ha recibido muy poca atención (Guisasola et al., 2017; Hernández Rodríguez, 2018; Nieveen y Folmer, 2013). De hecho, aunque en algunos artículos encontramos afirmaciones sobre la eficacia o la validez de las SEAs/DI, estos no suelen incluir una descripción detallada ni sobre cómo se ha evaluado (grado de iteración, agentes que evalúan, tipos de pruebas usados) ni respecto a qué se ha evaluado (con que criterios de realización y de calidad), ni sobre la conexión entre los resultados de la evaluación y los cambios en la teoría y en el diseño (Guisasola et al., 2017; Guisasola y Oliva, 2020). Además, el concepto de calidad es altamente polisémico y, en consecuencia, no en todas las investigaciones se entiende de la misma manera (van den Akker, 1999, 2013).

Teniendo en cuenta todo lo expuesto anteriormente el objetivo de este artículo es hacer una revisión de algunas de las propuestas usadas desde diferentes paradigmas del diseño para la evaluación de la calidad de las SEAs/DI cuando se implementan y se obtienen resultados. Para ello se revisan los elementos y prácticas clave, así como los criterios de realización y calidad de las propuestas a la luz del paradigma IBD. Partiendo de este análisis se propone y define un nuevo marco operativo para la evaluación de la calidad de los diseños de SEAs/DI desde el paradigma IBD basado en el grado de exigencia de las pruebas o resultados producto de la implementación de la SEA/DI.

El paradigma IBD

De acuerdo con DBR Collective (2003, p.5) la investigación basada en diseño (IBD) es “un paradigma emergente que estudia el aprendizaje en contexto a través del diseño sistemático y el estudio de estrategias didácticas y herramientas educativas”. Diversos autores destacan que la principal diferencia de este paradigma respecto a propuestas anteriores, como la investigación acción o los estudios evaluativos, es su doble objetivo. Así, las investigaciones IBD, por un lado, persiguen diseñar SEAs/DI bien fundamentadas, empíricamente adaptadas para favorecer la obtención de los resultados de aprendizaje esperados y útiles para su implementación en el aula; y; por otro lado, ampliar y validar aspectos relacionados con las teorías educativas y principios didácticos en los que se basan (Guisasola et al., 2021; Méheut y Psillos, 2004; Plomp y Nieveen, 2013; Psillos y Kariotoglou, 2016; Romero-Ariza, 2014; van den Akker, 1999).

Además del énfasis en la comprensión de los procesos y de la orientación hacia el desarrollo de teorías, el paradigma IBD también se caracteriza por su orientación práctica, su carácter intervencionista y su carácter iterativo. La orientación hacia la práctica se relaciona con el interés por el desarrollo de recursos, herramientas didácticas y/o productos que se alineen con las necesidades y circunstancias reales de docentes y alumnado (Romero-Ariza, 2014). El carácter intervencionista se relaciona con la apuesta por la colaboración entre diferentes participantes en las investigaciones (p.ej. docentes, diseñadores, investigadores…) (Couso, 2016; Wang y Hannafi, 2005). Por último, el carácter iterativo hace referencia a un proceso recurrente de diseño, implementación, evaluación y rediseño de los aportes teóricos, materiales didácticos y herramientas resultantes de una IBD (Plomp y Nieveen, 2013).

Teniendo en cuenta estas características, diversos autores han intentado identificar y definir las fases que deben guiar un proceso de diseño e implementación basado en investigación (DBR Collective, 2003). Actualmente existe un consenso generalizado en que cualquier proceso IBD debe seguir tres grandes fases que reciben diferentes nombres en la literatura: la fundamentación inicial, el desarrollo y pilotaje de la SEA y el análisis retrospectivo o evaluación (Blessing y Chakrabarti, 2009; Cobo-Huesa et al., 2021; Plomp y Nieveen, 2013; van den Akker, 1999).

El objetivo principal de la primera fase (fundamentación inicial) es definir el problema educativo que se busca mejorar e identificar los fundamentos teóricos que guiarán la IBD concretándolos en unos principios de diseño iniciales que orientarán el diseño de la SEA/DI (Romero-Ariza, 2014). De acuerdo con Plomp (2013), para identificar y definir los fundamentos teóricos que guiarán la propuesta se debe no sólo hacer una revisión de la literatura sobre la temática de la SEA/DI (p.ej. estudio de las dificultades de aprendizaje, análisis epistemológico del contenido a enseñar…), sino también un análisis del contexto educativo en el que se va a llevar a cabo (p.ej. nivel educativo, conocimientos previos…) identificando aquellos aspectos que limitarán el alcance de la SEA/DI. Estas teorías se deben concretar y operativizar hasta llegar a la definición de unos principios de diseño o su concreción en unas herramientas de diseño a partir de los cuales elaborar una primera SEA/DI tentativa (o prototipo inicial). Este prototipo se irá refinado iterativamente en las posteriores fases del proceso (Cobo-Huesa et al., 2021).

En la segunda fase (desarrollo y pilotaje) se llevan a cabo diversos ciclos sucesivos de diseño, implementación, revisión y mejora del prototipo inicial de la SEA/DI. De acuerdo con la propuesta de Romero-Ariza (2014), cada uno de estos ciclos sucesivos debe conllevar un pequeño ciclo de investigación. Es decir, una investigación donde se concretan/ revisan tanto los principios de diseño como el desarrollo y pilotaje de la SEA/DI a partir de un análisis de los resultados concretos de cada iteración. Este proceso debe tener como objetivo analizar las SEAs/DI para poder tomar decisiones sobre los cambios o modificaciones necesarios para su mejora (Guisasola et al., 2021). Gracias a cada uno de los ciclos iterativos y sus pequeñas investigaciones asociadas se van construyendo y refinando aspectos relativos a las teorías y aspectos prácticos de la SEA/DI (objetivos, actividades…) (Plomp, 2013).

En la última fase (evaluación o análisis retrospectivo) se lleva a cabo un análisis más profundo, sistemático y global del proceso de diseño e implementación a partir de los datos recogidos a lo largo de las diferentes iteraciones. Este análisis debe permitir, por un lado, valorar hasta qué punto la propuesta, herramientas didácticas, principios y/o herramientas del diseño finales satisfacen el propósito para el que se habían planteado; y, por otro lado, analizar la evolución del diseño de la SEA/DI a lo largo de los diferentes ciclos. Además, la obtención de resultados empíricamente fundamentados del diseño y la mejora iterativa de la SEA/DI así como del aprendizaje derivado de su aplicación debe permitir construir y/o validar aspectos de las teorías educativas y de los principios de diseño en los que se basa la SEA/DI, yendo más allá de la propia experiencia concreta (Gravemeijer y Cobb, 2013).

Estas teorías y principios de diseño que fundamentan y a la vez son objeto de investigación en las propuestas IBD deben ser consideradas teorías “humildes” (DiSessa, 2006), proto-teorías (DBR Collective, 2003) o teorías locales (van den Akker et al., 2006), empíricamente fundamentadas sobre cómo y porque se cree que un conjunto de propuestas educativas funciona para la enseñanza y aprendizaje de un contenido específico en un contexto concreto (Gravemeijer, 2004). El carácter “humilde” de estas teorías, por contraposición con las grandes teorías educativas (por ejemplo, el socio-constructivismo), no las exime de ser compartidas, comparadas, útiles y con potencial de orientar propuestas en otros contextos y/o temáticas (Cobb et al., 2003; Couso, 2016; DBR Collective, 2003).

Teniendo en cuenta todo lo anterior, vemos que la propuesta IBD difiere de ideas comunes en evaluación educativa a gran escala (Hernández-Torrano y Courtney, 2021), al no haber exigencia de transferibilidad ni expectativas de generalización estadística de los resultados. A pesar de la importancia que tienen estos tipos de evaluación, estamos de acuerdo con diversos autores que en las investigaciones IBD adquiere una especial relevancia las evaluaciones de “grano fino” ligadas a la calidad interna de las SEA/DI en un contexto concreto de planificación, implementación y obtención de resultados (Guisasola et al., 2021; Plomp, 2013; Psillos y Kariotoglou, 2016).

La evaluación de la calidad las SEAs/DI en el marco IBD

La evaluación en el paradigma IBD es entendida como “una actividad sistemática (que incluye el diseño, la recogida de datos, el análisis de los datos y la elaboración de informes/ toma de decisiones) con el objetivo de mejorar la calidad de un prototipo de intervención y los principios de diseño que lo acompañan” (Nieveen y Folmer, 2013, p. 158). Por ello, la evaluación desde este paradigma no solo se centra en señalar los aspectos de las SEAs/DI a mejorar, sino que se enfoca especialmente en sugerir propuestas y cambios para ello (van den Akker, 1999).

De acuerdo con Bakker y van Eerde (2015), y tal como hemos apuntado anteriormente, en las propuestas IBD existen dos momentos con potencial para la evaluación interna de las SEAs/DI: el análisis de cada iteración y el análisis global de todo el proceso. El análisis de cada iteración conduce a la toma de decisiones con respecto a los futuros prototipos e intervenciones a partir de los datos recogidos durante esa iteración. El análisis global, por su parte, se da al final de todo el proceso de investigación al profundizar en la evaluación de los datos recogidos a lo largo de las diferentes iteraciones. Para ello se tiene en cuenta el análisis de todos los resultados de aprendizaje y la evolución de los diferentes prototipos del diseño realizado. De acuerdo con Nieveen y Folmer (2013) y Guisasola et al. (2019) el objetivo de esta evaluación en diversos momentos es analizar la calidad de los diseños IBD a la vez que construir y/o validar conocimiento sobre las características de las intervenciones.

Sin embargo, de acuerdo con van den Akker (2013), el término calidad es abstracto y muy polisémico, y por ello consideramos que es necesario especificar y concretar a qué hace referencia. En este sentido algunos autores (Blessing y Chakrabarti, 2009; Sanmartí, 2010) han puesto de manifiesto que para analizar la calidad de una producción es necesario atender tanto a los criterios de realización como a los criterios de calidad o resultado. Los primeros (criterios de realización) hacen referencia al conjunto de aspectos o pruebas que los/las diseñadores/as deben hacer a la SEA/DI en diversos momentos del proceso de diseño, implementación y rediseño (p.ej. analizar la relación entre objetivos de aprendizaje y diseño de las actividades de E-A para conocer su coherencia). En cambio, los criterios de calidad o criterios de resultados hacen referencia al grado de logro con el que se alcanzan los criterios de realización, es decir, definen a partir de qué grado o basándonos en qué podemos afirmar que un criterio de realización se cumple (p.ej. cuando existe una correspondencia del 90% entre objetivos de aprendizaje y actividades de E-A podemos afirmar que la propuesta es coherente).

Como hemos apuntado, en las propuestas IBD a menudo no encontramos una propuesta clara y explícita ni de los criterios de realización ni de los criterios de calidad que se han utilizado para evaluar la SEA/DI (Guisasola et al., 2017, 2019; Nieveen y Folmer, 2013). Y cuando sí se hace referencia explícita a la evaluación de la calidad de la SEA/DI, generalmente encontramos: (1) que los procedimientos son poco robustos y de carácter informal, es decir, basados únicamente en las intuiciones de los propios docentes e investigadores tras la implementación, en lugar de en resultados “medibles” y “observables” (Hernández Rodríguez, 2018; McDermott, 2001); (2) que la mayoría se centran en la evaluación de un único criterio de realización: la efectividad (Nieveen y Folmer, 2013), sin ahondar en otros criterios de calidad importantes; y (3) que los resultados de la evaluación pocas veces se relacionan con la toma de decisiones y la mejora iterativa de SEA/DI (Guisasola et al., 2017, 2019; Psillos y Kariotoglou, 2016).

Esta falta de atención y consenso sobre la evaluación de la calidad dificulta la realización de investigaciones profundas que proporcionen a investigadores y docentes orientaciones claras y plausibles sobre cómo refinar las SEAs/DI que se planean (Guisasola et al., 2017; Hernández Rodríguez, 2018; McDermott, 2001). Además, la falta de marcos comunes dificulta la generalización del proceso de diseño y de los resultados obtenidos tras la implementación a otros contextos (Guisasola et al., 2019).

Estamos de acuerdo con Guisasola et al. (2019) cuando afirman que es necesario consensuar un marco común que permita mejorar sistemáticamente el proceso de diseño de SEAs/DI, su implementación, y su evaluación. Por ello, a continuación, analizamos en la literatura existente qué elementos, procesos y criterios se han identificado como claves para la evaluación de la SEA/DI y qué relación se ha establecido entre ellos.

Elementos y procesos de las SEAs/DI claves para la evaluación de su calidad

El diseño, adaptación, implementación y validación de SEAs/DI engloba una serie de procesos (p.ej. la selección de los principios de diseño, la concreción de los objetivos, el diseño de las actividades...) que se acaban concretando en una serie de productos educativos (p.ej. material educativo, lista de objetivos, herramientas didácticas…) que encapsulan este diseño. Tras el análisis de la propuesta de Millar et al., (2002) para la evaluación de la eficacia en las prácticas de laboratorio y siguiendo la adaptación de este marco que hace Hernández Rodríguez (2018) para la evaluación de la calidad de las SEAs/DI, hemos identificado cuatro elementos/ procesos de las SEAs/DI clave para la evaluación de su calidad: los objetivos de aprendizaje, los materiales educativos, la implementación de la SEA/DI y los resultados de aprendizaje.

Los dos primeros elementos (los objetivos de aprendizaje y los materiales educativos diseñados) hacen referencia a los aspectos que tradicionalmente se han considerado estructurantes de las SEAs/DI. Estos se relacionan directamente con la planificación de qué y cómo se va a llevar a cabo una propuesta educativa en el aula. Concretamente, Couso y Adúriz-Bravo (2016) definen los objetivos de aprendizaje como aquello que se espera que el alumnado aprenda a la luz de para qué se considera que lo tiene que aprender. Los materiales educativos de enseñanza-aprendizaje diseñados, en cambio, son documentos que operacionalizan lo que se ha planificado que piensen, comuniquen y hagan el alumnado y profesorado para alcanzar los objetivos de aprendizaje definidos.

Además de los anteriores, la importancia otorgada al diseño de SEAs/DI de manera iterativa teniendo en cuenta aspectos de su puesta en práctica (Méheut y Psillos, 2004), ha subrayado la relevancia de los otros dos elementos/ procesos: la implementación de la SEA/DI y los resultados de aprendizaje observados. La implementación hace referencia a la intervención en un contexto educativo real, generalmente un aula. Es decir, se refiere a aquello que realmente alumnado y docentes han llevado a la práctica. Y los resultados de aprendizaje, a aquello que podemos saber sobre lo que el alumnado realmente ha aprendido (Hernández Rodríguez, 2018; Millar et al., 2002).

Criterios de evaluación (de realización y de calidad) de las SEAs/DI

Con el fin de intentar ordenar y clarificar cómo evaluar la calidad de las SEAs/DI en el paradigma IBD, Nieveen y Folmer (2013) y van den Akker (1999) han identificado y definido cuatro criterios de realización: la relevancia o validez del contenido, que analiza el grado de fundamentación teórica de la propuesta; la consistencia o validez del constructo, que analiza la coherencia entre las diferentes partes del diseño; la utilidad o practicidad de la propuesta, que analiza el interés del diseño para ser implementado en condiciones habituales; y la eficacia, que analiza hasta qué punto los resultados obtenidos son los deseables).

Un aspecto destacado de la propuesta anterior es la jerarquía lógica que se establece entre los cuatro criterios de realización presentados (Romero-Ariza, 2014). Según Plomp (2013), por ejemplo, no tiene sentido analizar la utilidad de una SEA/ DI si esta no está bien diseñada y no es consistente, es decir, si antes no nos hemos asegurado de que el diseño tiene una buena validez. Otro ejemplo, es que no es necesario profundizar en el análisis de la efectividad si la propuesta aún no ha demostrado ser útil en la práctica.

Un marco analítico para la evaluación de la calidad de las SEAs/DI

Partiendo de los elementos/prácticas que conforman el diseño y los criterios de realización anteriormente identificados, y en un primer intento de clarificar y operativizar la evaluación de la calidad de las SEAs/DI, Hernández Rodríguez (2018) ha propuesto un marco analítico en el que se establecen relaciones entre ambos aspectos.

En el marco propuesto por la autora anterior, la validez es el criterio de calidad que analiza el grado de consistencia entre objetivos de aprendizaje y el material educativo diseñado. La utilidad se fija en la relación entre implementación y resultados de aprendizaje. Además, basándose en la propuesta de (Millar et al., 2002) la eficacia se concreta y define en dos niveles: la eficacia nivel 1, criterio que analiza la consistencia entre el material educativo diseñado y su implementación real de aula; y la eficacia nivel 2, criterio que analiza la consistencia entre resultados y objetivos de aprendizaje planteados.

Este marco nos parece una propuesta especialmente interesante para que docentes e investigadores evalúen la calidad de SEAs/DI y/o actividades concretas desde un marco de diseño, porque permite empezar a establecer relaciones entre la evaluación y cada uno de los elementos/ prácticas que conforman el diseño. Sin embargo, creemos que es necesario profundizar en el mismo para la evaluación de la calidad de las SEAs/DI desde una perspectiva IBD que realmente pretende aportar al conocimiento y la investigación en el campo, ya que en él faltan algunos elementos clave para este paradigma. Por ejemplo, explicitar el papel de los principios y herramientas de diseño en los que se sustenta y a los que a la vez aporta la SEA/DI, o dar importancia a las herramientas didácticas (p.ej. andamiajes, protocolos…) que se incluyen (DBR Collective, 2003).

Una nueva propuesta para la evaluación de la calidad de las SEAs/DI desde la perspectiva IBD

Teniendo en cuenta los marcos anteriores, a continuación, presentamos una nueva propuesta de marco para la evaluación de la calidad de las SEAs/DI desde una visión de la investigación didáctica centrada en el diseño en sentido amplio, así como concretamente desde la perspectiva IBD.

Uno de los primeros aspectos que ha sido necesario concretar cuales son los elementos y prácticas clave del proceso de diseño de SEA/DI, y hacerlo revisando la relación entre teoría y práctica y la recursividad presentada en los marcos anteriores, ya que ambos aspectos son especialmente relevantes dentro del paradigma IBD (Ortiz Revilla, 2020; Plomp y Nieveen, 2013; Psillos y Kariotoglou, 2016; Romero-Ariza, 2014) (figura 1).

A continuación, se revisa en profundidad algunos de los elementos y prácticas clave y los criterios de realización de los marcos de evaluación anteriores. Este análisis nos ha permitido, por un lado, identificar qué aspectos de los marcos anteriores se debían mejorar y, por otro lado, revisar la relación que se establece entre elementos/prácticas y criterios de realización a partir de los principios y objetivos del paradigma IBD.

Elementos y prácticas clave de la nueva propuesta de marco para la evaluación de SEAs/DI desde la perspectiva IBD

La relevancia que el paradigma IBD otorga a las aportaciones a la teoría y al diseño de herramientas (DBR Collective, 2003), ha subrayado la necesidad de incorporar explícitamente los principios de diseño y su encapsulación en herramientas para el diseño y herramientas didácticas o para la enseñanza. También se ha revisado qué entendemos por resultados de aprendizaje. Estos elementos y prácticas se han incorporado al esquema del marco presentado en la figura 1.

La incorporación de los principios de diseño como elementos clave de las SEAs/DI en el paradigma IBD

El primero de los elementos que ha sido necesario incorporar a la propuesta de evaluación han sido los principios de diseño. Estos son la concreción y operativización de teorías y marcos educativos en los que se basa la SEA/DI, es decir, un conjunto de aspectos pragmáticos que guían el diseño y su implementación (Muñoz-Campos et al., 2020). En algunos casos estos principios de diseño se pueden concretar y operativizar en forma de herramientas para el diseño que pueden haber sido consensuadas y consolidadas en investigaciones anteriores o bien fundamentarse empíricamente en la investigación IBD en curso (Plomp, 2013).

Los principios de diseño son clave en la fase inicial de la SEA/DI (fundamentación inicial), al guiar el diseño y concreción de los objetivos, las actividades y herramientas didácticas, su secuenciación, etc. Pero también lo son en la última fase (análisis retrospectivo) donde los resultados y producciones de la SEA/DI son analizados exhaustivamente y comparados con los obtenidos en otras investigaciones (Anderson y Shattuck, 2012). Esta comparación permite aportar a la construcción y/o validación de algunas de las teorías, principios de diseño y/o herramientas para el diseño en los que se basa, por ejemplo, reforzando algunas de las ideas con las que se parte y consolidando o mejorando herramientas de diseño útiles para otros diseños.

La incorporación de las herramientas como elementos estructurantes de las SEAs/DI en el paradigma IBD

Otro de los aspectos clave y característico del marco IBD es que busca comprender y mejorar el proceso educativo generando y/o validando productos o herramientas útiles para el diseño y la intervención en las aulas fundamentados en investigación (Blessing y Chakrabarti, 2009; Nieveen y Folmer, 2013). Tanto es así, que algunos autores consideran el diseño de estos productos el tercer objetivo de las propuestas IBD (DBR Collective, 2003).

Basándonos en el uso habitual en la literatura, en esta investigación diferenciamos dos tipos de herramientas en función de su finalidad: las herramientas para el diseño y las herramientas para la enseñanza o herramientas didácticas. Las herramientas para el diseño hacen referencia al conjunto de productos consensuados y consolidados que se adoptan en la investigación y que permiten operativizar y concretar los principios de diseño y, por tanto, que son útiles para orientar el diseño y estructuración de la SEA/DI. Algunos ejemplos de este tipo de herramientas podrían ser: el ciclo de aprendizaje (Sanmartí y Jorba de 1994), las demandas de aprendizaje (Leach y Scott 2002 en Couso, 2011) o los ciclos de indagación (Jiménez-Liso, 2020) y modelización (Couso, 2020). En cambio, las herramientas didácticas hacen referencia al conjunto de productos, andamiajes o protocolos, entre otros, que se diseñan y/o adaptan, implementan y mejoran iterativamente a lo largo de la investigación (Blessing y Chakrabarti, 2009) y que guían la práctica de enseñanza y aprendizaje de alumnado y docentes. Estas buscan ser transferibles a otros contextos, contenidos, temáticas y SEAs/DI. Un ejemplo de herramienta de diseño es el esquema de análisis de prácticas experimentales propuesto por Márquez et al., (2003) o la plantilla PaPER de las autoras (Tena y Couso, 2020).

La revisión del uso del término “resultados de aprendizaje” en las SEAs/DI del paradigma IBD

Normalmente el término “resultados de aprendizaje” se ha utilizado para referirse al conjunto de pruebas que evidencian que el alumnado aprende al involucrarse en una SEA/DI. Sin embargo, en muchas ocasiones este concepto puede resultar ambiguo, al referirse a constructos de diversa naturaleza.

Habitualmente en la investigación se ha prestado especial atención a la naturaleza de los resultados con relación a la tipología de análisis de datos a partir de los cuales se han obtenido. Así, en muchas ocasiones se diferencia entre análisis y resultados cuantitativos, cualitativos o una mezcla de ambos (mixtos). Estamos de acuerdo con diversos autores (Anderson y Shattuck, 2012; Ortiz Revilla, 2020) que en el marco IBD la selección y uso de los diferentes métodos de recogida, análisis y presentación de los resultados responde principalmente a los objetivos, necesidades y momentos de la investigación que se está llevando a cabo. Sin embargo, tras un análisis introspectivo de cómo nosotras mismas hablamos de los resultados de aprendizaje en diferentes publicaciones, nos parece interesante autoexigirnos como campo ir más allá de la clasificación ontológica anterior y centrarnos en la clasificación en función del grado de sofisticación con el que hemos realizado la recogida de datos y particularmente el análisis de los resultados de aprendizaje.

Desde este punto de vista, el término resultados de aprendizaje comprende un amplio espectro de significados. En un extremo tenemos resultados poco justificados, basados en análisis inexistentes, no explícitos o muy incipientes de datos, como por ejemplo percepción del aprendizaje como observador participante. Así, hablamos de resultados que se derivan directamente de los comentarios, percepciones y/o sensaciones que los diferentes participantes (docentes, alumnado, investigadores) tienen durante el diseño e implementación de la SEA/DI. Son ejemplo de estos resultados muy cercanos a la propia experiencia afirmaciones como “los alumnos parecían estar contentos e interesados mientras hacían la actividad porque participaban activamente” o “el resultado es satisfactorio en términos de aprendizaje ya que el alumnado declara saber explicar los conceptos en el KPSI final” o “la SEA es adecuada porque el 60% de alumnos obtiene una nota superior a 6”.

En el otro extremo situaríamos los resultados de aprendizaje obtenidos tras un análisis de datos exhaustivo, a menudo inspirado o basado en categorías y resultados de investigaciones similares y con conexión con la teoría didáctica y la literatura en el ámbito. Estos permiten hacer afirmaciones concretas del tipo “el 60% del alumnado tiene una idea respecto a la estructura del aire semicontinua y a escala macroscópica de acuerdo con las categorías de Talanquer (2009)” o “la explicación inicial de los estudiantes se basa principalmente en la idea de flujo de frío pero proporciona diferentes interpretaciones del papel de las variables: conductividad y superficie (Vergara et al., 2020)”.

Entre los dos extremos anteriores, existe un gran abanico de propuestas que se basan en análisis de datos con diferentes grados de sofisticación y, por tanto, inversión en términos de tiempo y esfuerzo. Conocer las potencialidades y limitaciones de cada una de las tipologías de resultados de aprendizaje anteriores es determinante para la evaluación de la calidad de las SEAs/DI en diferentes momentos. Así, por ejemplo, los resultados de aprendizaje a partir de un análisis incipiente y que se derivan directamente de los datos requieren poco tiempo, lo que permite tomar decisiones sobre las SEAs/DI de forma rápida, gestionando posibles contingencias incluso en el transcurso de su implementación. Sin embargo, estos resultados están muy ligados al contexto y momento de la implementación y hacen difícil su generalización y/o su aportación a los principios de diseño y la mejora de las herramientas de diseño. En el lado opuesto encontramos los resultados de aprendizaje ligados a análisis complejos de investigación, que necesitan un tiempo mucho más largo haciéndolos poco útiles para la toma de decisiones en el transcurso de la actividad o inmediatamente después de esta. Sin embargo, estos facilitan la obtención de información muy valiosa y mucho más generalizable, por ejemplo, sobre el aprendizaje del alumnado y/o el papel docente, lo que permite hacer aportaciones a los principios y/o herramientas de diseño.

En nuestra opinión, todas las tipologías de resultados de aprendizaje aportan de alguna manera a la evaluación de la SEA/DI, pero no de la misma forma, respecto a los mismos constructos/elementos ni con el mismo valor. Por ello, en el ámbito de la investigación en Didáctica de las Ciencias deberíamos ser transparentes con el tipo de resultados de aprendizaje usados y coherentes con la atribución de calidad que se puede otorgar a los diseños, en base a los mismos. No deberíamos atribuir calidad a una SEA/DI en términos de favorecer el aprendizaje del alumnado si este aprendizaje no ha sido evaluado con un mínimo de profundidad.

Criterios de realización y calidad para la evaluación de SEAs/DI desde la perspectiva IBD

Partiendo de la propuesta de Nieveen y Folmer (2013); Millar et al. (2002) y Hernández Rodríguez (2018) donde se identificaban cuatro criterios de calidad se han revisado e identificado qué criterios de realización son útiles para la evaluación de la calidad de una SEA/DI desde la perspectiva IBD.

Un primer análisis de los criterios propuestos y sus definiciones nos ha permitido diferenciar dimensiones para evaluar la calidad y criterios de realización que nos permiten operativizar la evaluación de cada una de ellas. Así, por ejemplo, siguiendo la propuesta de Millar et al. (2002) diferenciamos dos criterios de calidad para la dimensión de eficacia (nivel 1 y 2) y añadimos un tercero (nivel 3).

Tras este análisis se han diferenciado tres dimensiones complementarias para la evaluación de la calidad de las propuestas educativas en el marco IBD: (1) la validez, (2) la utilidad y (3) la confiabilidad. Para cada una de ellas se han identificado dos o tres criterios de realización. Las dimensiones y criterios han quedado recogidos, junto con sus definiciones, en la siguiente figura (figura 2).

Operativización de un marco analítico para la evaluación de la calidad SEAs/DI desde la perspectiva IBD

Como resultado de la revisión anterior, se ha establecido una propuesta de nuevo marco operativo para la evaluación de SEAs/DI que ha quedado recogida en la figura 3.

Tal como se puede observar en la figura 3, el grado de validez de una SEA/DI diseñada en el marco IBD (es decir hasta qué punto los objetivos y material educativo de la SEA/DI son coherentes y están alineados con el conocimiento científico y didáctico actual) se puede evaluar a partir de dos criterios: la coherencia interna y la coherencia teórica (líneas en amarillo y en la parte izquierda de la figura 3). En el caso de la coherencia interna, se busca analizar hasta qué punto el material educativo diseñado permite lograr los objetivos de aprendizaje que se persiguen. En el caso de la coherencia teórica, en cambio, se busca analizar hasta qué punto el diseño de la SEA/DI (los objetivos de aprendizaje y del material educativo diseñado) se sustentan en los principios de diseño identificados y en el conocimiento didáctico, pedagógico y científico actual. En este sentido, es importante destacar que la evaluación de la validez de una SEA/DI responde únicamente a un análisis de carácter teórico de algunos elementos que la forman. En consecuencia, y de acuerdo con Nieveen y Folmer, (2013), esta evaluación debe estar presente ya en las primeras etapas de diseño las propuestas IBD.

Para analizar la utilidad (es decir, hasta qué punto el diseño e implementación de la SEA/DI permiten obtener resultados de aprendizaje y herramientas didácticas provechosas) nos debemos fijar también en dos aspectos: la practicidad y la productividad (en color rosa y en la parte inferior de la figura 3). Para conocer la practicidad de una propuesta se debe analizar hasta qué punto la implementación de la SEA/DI se considera útil en base a la propia experiencia y/o análisis incipientes de los resultados de aprendizaje para ser implementados en las condiciones habituales de aula. En cambio, la productividad debe analizar hasta qué punto la SEA/DI incluye herramientas didácticas que son provechosas y aplicables en otros contextos y situaciones educativas teniendo en cuenta los resultados de aprendizaje tras su implementación. La evaluación de la utilidad de una SEA/DI implica analizar la relación entre aspectos de naturaleza teórica (p.ej. materiales educativos) y práctica (p.ej. implementación de la SEA/DI), por ello, debe empezarse a tener en cuenta una vez se haya diseñado e implementado la SEA/DI en la fase de desarrollo y pilotaje. Además, este análisis debe ir evolucionando en profundidad con los diferentes ciclos iterativos y a medida que la SEA/DI se va sofisticando.

Para conocer el grado de confiabilidad de una SEA/DI (es decir, hasta qué punto se puede confiar en el diseño instruccional de la SEA/DI en términos de diseño, resultados o teoría) debemos fijarnos en la eficacia a tres niveles (en color azul y en la parte superior derecha en la figura 3): eficacia nivel 1 o del diseño, eficacia nivel 2 o de los resultados, eficacia nivel 3 o de las teorías. La eficacia nivel 1 o del diseño se centra en analizar hasta qué punto el análisis de la implementación de la actividad se realiza siguiendo el diseño elaborado y, por tanto, pasa aquello que se prevé que pase. La eficacia nivel 2 o de los resultados analiza hasta qué punto los resultados de la investigación prueban que se logran cumplir los objetivos de aprendizaje que se persiguen en la SEA/DI. Por último, la eficacia nivel 3 o de las teorías analiza hasta qué punto los resultados de aprendizaje refuerzan los principios y/o herramientas de diseño y el conocimiento didáctico, pedagógico y científico actual en el que se basan. Así, la confiabilidad se evalúa a partir de un análisis exhaustivo y complejo de los resultados de aprendizaje obtenidos y su relación con aspectos como el diseño o los objetivos. Es precisamente este análisis en profundidad el que debe permitir partir de la práctica concreta de la SEA/DI y hacer aportes en la validación, evaluación, concreción de la teoría o principios de diseño. Por ello, este tipo de evaluaciones a menudo se da en las últimas etapas del proceso de realización de una IBD (final de la fase de desarrollo y pilotaje y durante el análisis retrospectivo).

A modo de conclusión

A partir de la revisión de los elementos y prácticas clave de una SEA/DI y de los criterios para su evaluación de trabajos anteriores sobre la evaluación de la calidad de trabajos de laboratorio (Millar et al., 2002), de SEAs/DI elaboradas desde un marco de diseño (Hernández Rodríguez, 2018) y de SEAs/DI desde el paradigma IBD (Nieveen y Folmer, 2013), en este artículo se hace una nueva propuesta de marco operativo para la evaluación de la calidad de las SEAs/DI desde la perspectiva IBD.

Uno de los aspectos destacados de este nuevo marco es que incorpora elementos y prácticas características del paradigma IBD que no estaban presentes en las propuestas anteriores como los principios de diseño, las herramientas de diseño y las herramientas didácticas. La incorporación de estos elementos como parte estructurante del marco de evaluación permite tener en cuenta la relevancia que adquiere en el paradigma IBD la relación entre teoría y práctica, así como la necesidad de diseñar materiales de utilidad para diseñadores y docentes (DBR Collective, 2003; Guisasola et al., 2019; Romero-Ariza, 2014).

Además, en esta propuesta también se profundiza en la concreción de los resultados de aprendizaje en función de su grado de sofisticación tanto respecto a la tipología de los datos recogidos como a la profundidad del análisis realizado, sin centrarse en su naturaleza (cualitativa, cuantitativa…). Creemos que esta aportación puede ser especialmente interesante ya que subraya las potencialidades y limitaciones que tienen los diferentes tipos de análisis y resultados en cada una de las fases del proceso de diseño y evaluación de las SEAs/DI. Este hecho permite establecer una jerarquía lógica entre la evaluación y las distintas fases del proceso de diseño de una IBD similar al que apuntan Nieveen y Folmer (2013).

Por otro lado, la nueva propuesta afronta dos de las principales problemáticas subrayadas por la literatura respecto a la evaluación de la calidad SEAs/DI en este marco: la concreción del término “calidad” (van den Akker, 1999) y la relación entre la evaluación y los cambios en el diseño de la SEA/DI (Guisasola et al., 2017).

Para el primero de los problemas apuntados, la nueva propuesta define la “calidad” de una SEA/DI desde la perspectiva IBD como un aspecto medible en base a tres dimensiones: la validez, la utilidad y la confiabilidad. Estas dimensiones se evalúan a través de siete criterios de realización: la coherencia interna y la coherencia teórica en el caso de la validez; la practicidad y la productividad en el caso de la utilidad y la eficacia nivel 1, 2 y 3 en el caso de la confiabilidad. A pesar de que excede la posibilidad de este artículo mostrar ejemplos de investigaciones reales que usen estos criterios de realización de diferentes modos, creemos que es muy útil el ejercicio de compararlos y discutirlos. Para un ejemplo concreto en el contexto de una SEA/DI de primaria sobre la contaminación atmosférica, ver el trabajo de tesis doctoral de la autora (Tena, en proceso)

La evaluación de cada uno de los criterios de realización anteriores se establece a partir de la relación directa entre dos de los elementos/prácticas clave de una SEA/DI. Este hecho permite dibujar relaciones claras entre aquello que se evalúa y los cambios que se pueden realizar en el diseño de la SEA/DI. Así, por ejemplo, la coherencia interna es el criterio de realización que evalúa la relación entre objetivos de aprendizaje y los materiales educativos diseñados, por ello, los resultados de este análisis deben permitir orientar los cambios y mejoras de los objetivos de aprendizaje y de los materiales educativos diseñados.

Además, la definición y concreción de todo lo anterior creemos que puede ser útil para romper con una concepción muy establecida entre las propuestas IBD que relaciona la calidad de las SEAs/DI simplemente con el número de iteraciones a las que ha sido sometida (habitualmente tres), sin justificar por qué ese número de iteraciones ni en qué se está mejorando al iterar. En este sentido, la nueva propuesta relaciona la calidad con los criterios de realización (el conjunto de pruebas que se deben hacer para conocer la calidad de una investigación) y los criterios de calidad (grado de logro o calidad con la que se dan los criterios de realización). Es decir, relaciona la calidad con el análisis del grado de exigencia de las pruebas, que puede ser muy alto con una única iteración si existe una excelente fundamentación inicial (por ejemplo, respecto un tema muy estudiado en la literatura) y si se ha realizado una implementación cuidada y sobre todo si se ha analizado en profundidad. Así, teniendo el marco propuesto en cuenta, una SEA/DI se podrá considerar de calidad y definitiva cuando demuestre ser suficientemente válida, útil y confiable independientemente del trabajo teórico e iteraciones prácticas que hayan sido necesarias para ello.

A pesar de las potencialidades que creemos que tiene el marco presentado, consideramos que este es solo un primer paso para poder establecer un marco de evaluación consensuado. Somos conscientes de la necesidad de, por un lado, seguir reflexionando en un futuro sobre la definición de los criterios de calidad o resultado (p.ej. qué quiere decir suficientemente útil) que actualmente depende del contexto donde se diseña e implementa y de la tradición didáctica del mismo. Por otro lado, también se requiere profundizar en la manera y los instrumentos concretos con los que evaluar cada una de las dimensiones y criterios de realización apuntados en el marco. Como campo profesional, sin embargo, creemos firmemente que en didáctica de las ciencias debemos operativizar y compartir más y mejor qué entendemos por calidad de una SEA/DI, e invitamos a nuestras colegas a seguir trabajando en esta línea.

Agradecimientos

La investigación se ha llevado a cabo en el marco del doctorado en Educación de la UAB y ha sido financiada por el Ministerio de Ciencia, Innovación y Universidades (PGC2018-096581-B-C21) dentro del grupo de investigación ACELEC (2021SGR00647) y la ayuda predoctoral FI-DGR-2018.

Referencias

Anderson, T., y Shattuck, J. (2012). Design-based research: A decade of progress in education research? Educational Researcher, 41(1), 16–25. https://doi.org/10.3102/0013189X11428813

Bakker, A., y van Eerde, D. (2015). An Introduction to Design-Based Research with an Example From Statistics Education. https://doi.org/10.1007/978-94-017-9181-6_16

Blessing, L.T., y Chakrabarti, A. (2009). DRM, a Design Research Metodology. Springer.

Cobb, P., Confrey, J., Disessa, A., Lehrer, R., y Schauble, L. (2003). Design Experiments in Educational Research. Educational Researcher, 32(1), 9–13. https://doi.org/10.3102/0013189X032001009

Cobo-Huesa, C., Abril, A.M., y R. Ariza, M. (2021). Investigación basada en el diseño en la formación inicial de docentes para una enseñanza integrada de la naturaleza de la ciencia y el pensamiento crítico. Revista Eureka, 18(3), 617–627. https://doi.org/10.25267/Rev

Couso, D. (2011). Las secuencias didácticas en la enseñanza y el aprendizaje de las ciencias: modelos para su diseño y validación. In Didáctica de la Física y la Química (Vol. 2, pp. 103–111).

Couso, D. (2016). Participatory approaches to curriculum design from a design research perspective. In Iterative Design of Teaching-Learning Sequences: Introducing the Science of Materials in European Schools. https://doi.org/10.1007/978-94-007-7808-5_4

Couso, D. (2020). Aprender ciencia escolar implica construir modelos cada vez más sofisticados de los fenómenos del mundo. In Enseñando ciencia con ciencia (pp. 63–74).

Couso, D., y Adúriz-Bravo, A. (2016). La elaboración de unidades didácticas competenciales en la formación professional de profesorado de ciencias. In Conocimiento y emociones del profesorado. Contribuciones para su desarrollo e implicaciones didácticas. (Magisterio, pp. 225–283).

DBR Collective. (2003). Design-Based Research: An Emerging Paradigm for Educational Inquiry. Educational Researcher, 32(1), 5–8. https://10.3102/0013189X032001005

Domènech-Casal, J. (2018). Retorno a Kalsruhe: una experiencia de investigación con la Tabla Periódica para prender la estructura y propiedades de los elementos químicos. Revista Eureka, 16(1). https://doi.org/10.25267/Rev

Gravemeijer, K. (2004). Local Instruction Theories as Means of Support for Teachers in Reform Mathematics Education. Mathematical Thinking and Learning, 6(2), 105–128. https://doi.org/10.1207/s15327833mtl0602_3

Gravemeijer, K., y Cobb, P. (2013). Design research from the learning design perspective. In Educational Design Research (pp. 72–113). http://international.slo.nl/publications/edr/

Guisasola, J., Ametller, J., y Zuza, K. (2021). Investigación basada en el diseño de Secuencias de Enseñanza-Aprendizaje: una línea de investigación emergente en Enseñanza de las Ciencias. Revista Eureka, 18(1). https://doi.org/10.25267/Rev

Guisasola, J., y Oliva, J. M. (2020). Nueva sección especial de REurEDC sobre investigación basada en el diseño de secuencias de enseñanza-aprendizaje. Revista Eureka, 13(3), 617–627. https://doi.org/10.25267/Rev

Guisasola, J., Zuza, K., Ametller, J., y Gutierrez-Berraondo, J. (2017). Evaluating and redesigning teaching learning sequences at the introductory physics level. Physical Review Physics Education Research, 13(2), 1–14. https://doi.org/10.1103/PhysRevPhysEducRes.13.020139

Guisasola, J., Zuza, K., Ametller, J., y Gutierrez-Berraondo, J. (2019). Una propuesta de diseño, evaluación y rediseño de secuencias de enseñanza- aprendizaje en Física introductoria. UTE, Monogràfic, 109–122.

Hernández-Torrano, D., y Courtney, M. G. R. (2021). Modern international large-scale assessment in education: an integrative review and mapping of the literature. Large-Scale Assessments in Education, 9(1), 1–33. https://doi.org/10.1186/s40536-021-00109-1

Hernández, M. I., y Pintó, R. (2016). The process of iterative development of a teaching/learning sequence on acoustic properties of materials. In Iterative Design of Teaching-Learning Sequences (pp. 1–382). https://doi.org/10.1007/978-94-007-7808-5

Hernández Rodríguez, M. I. (2018). Com a docents de ciències, avaluem la nostra pràctica? Revista Ciències, 36, 20–29. https://doi.org/10.5565/rev/ciencies.397

Kelly, A. E., Lesh, R. A., y Baek, J. (2014). Handbook of Design Research Methods in Education. Routledge.

Màrquez, C., Roca, M., y Via, A. (2003). Plantejar bones preguntes: el punt de partida per mirar, veure i explicar amb sentit. In Aprendre ciències tot aprenent a escriure ciencia. Edicions 62.

McDermott, L. C. (2001). Oersted Medal Lecture 2001: “Physics Education Research. The Key to Student Learning.” American Journal of Physics, 69(11), 1127–1137. https://doi.org/10.1119/1.1389280

Méheut, M., y Psillos, D. (2004). Teaching–learning sequences: aims and tools for science education research. International Journal of Science Education, 26(5), 515–535. https://doi.org/10.1080/09500690310001614762

Millar, R., Tiberghien, A., y Maréchal, J.-F. (2002). Varieties of Labwork: A Way of Profiling Labwork Tasks. In Teaching and Learning in the Science Laboratory (pp. 9–20). https://doi.org/10.1007/0-306-48196-0_3

Muñoz-Campos, V., Franco-Mariscal, A.-J., y Blanco-López, Á. (2020). Integration of scientific practices into daily living contexts: a framework for the design of teaching- learning sequences. International Journal of Science Education, 42(15), 1–27. https://doi.org/10.1080/09500693.2020.1821932

Nieveen, N., y Folmer, E. (2013). Formative evaluation in educational design research. In Educational Design Research. An introduction (pp. 152–169).

Ortiz Revilla, J. (2020). El desarrollo competencial en Educación Primaria: efectos de una propuesta STEAM integrada. Tesis doctoral, Universidad de Burgos.

Plomp, T. (2013). Educational Design Research: an Introduction. In Plomp y Nieven (eds). Educational Design Research: an Introduction (pp. 9–35).

Plomp, T., y Nieveen, N. (2013). Educational Design Research. SLO. The Netherlands

Psillos, D., y Kariotoglou, P. (2016). Iterative Design of Teaching-Learning Sequences. In Iterative Design of Teaching-Learning Sequences.

Romero-Ariza, M. (2014). Uniendo investigación, política y práctica educativas: DBR, desafíos y oportunidades. Magis, 7(14), 159–176. https://doi.org/10.11144/Javeriana.M7-14.UIPP

Sanmartí, N. (2010). Avaluar per aprendre: l’avaluació per millorar els aprenentatges de l’alumnat en el marc del currículum per competències. Generalitat de Catalunya: Departament d’Educació.

Tena, È. (2022). Modelitzar i indagar la contaminació atmosfèrica a l'aula de primària. Anàlisi des de la perespectiva de investigació basada en el disseny. [Tesis doctoral]. UAB.

Tena, È., y Couso, D. (2020). ¿Cómo ayudar al alumnado a investigar en ciencias? Aula de Innovación Educativa, 298, 15–20.

van den Akker, J. (1999). Principles and Methods of Development Research. Design Approaches and Tools in Education and Training, 1–14. https://doi.org/10.1007/978-94-011-4255-7_1

van den Akker, J. (2013). Curricular development research as a specimen of educational design research. In Educational Design Research. Part A: An introduction. (pp. 53–70).

van den Akker, J., Gravemeijer, K., McKenney, S., y Nieveen, N. (2006). Educational Design Research. Routledge. https://doi.org/10.1007/978-3-658-25233-5_3

Vergara, C., López, V., y Couso, D. (2020). Revisiting the landscape roaming metaphor to understand students ’ ideas on mammals ’ and birds ’ thermal regulation. Journal of Biological Education, 00(00), 1–14. https://doi.org/10.1080/00219266.2020.1748894

Wang, F., y Hannafi, M. J. (2005). Design-Based Research and Teachnology-Enhanced Learning Environments. Educational Technology Research and Development, 53(4), 5–23. https://doi.org/10.4018/978-1-878289-59-9.ch016

Información adicional

Para citar este artículo: Tena, È y Couso, D. (2023) ¿Cómo sé que mi secuencia didáctica es de calidad? Propuesta de un marco de evaluación desde la perspectiva de Investigación Basada en Diseño. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias 20(2), 2801. doi: 10.25267/Rev_Eureka_ensen_divulg_cienc.2023.v20.i2.2801

IR