Antonio Coronado Hijón | 1/05/2019

Frente al diagnóstico psicométrico de la discalculia, el diagnóstico pedagógico y  evaluación educativa de las dificultades de aprendizaje del cálculo aritmético adolece en la actualidad de escasez de instrumentos que faciliten una evaluación formativa con valores de validez y fiabilidad contrastados.

Método: Este trabajo describe las características y diseño instrumental de la prueba psicopedagógica analítica de evaluación formativa y criterial de dificultades de aprendizaje del cálculo aritmético EVADAC, así como la contrastación empírica de validez y fiabilidad.

Resultados: Los resultados reflejan que los indicadores específicos están bien representados y de forma bastante equilibrada y homogénea, un nivel de fiabilidad bueno de las mediciones, así como una concordancia entre observadores moderado, por encima de aceptable.

Conclusiones: Las mediciones que posibilita esta prueba aportan datos de identificación y dimensionalización que  facilitan el reporte y retroalimentación educativa necesaria en una evaluación formativa de las  dificultades de aprendizaje del cálculo aritmético.

Además de las buenas propiedades psicométricas, la prueba es un procedimiento fácil de administrar y de informar.

Estas cualidades de la prueba analítica EVADAC, la hacen candidata a ser un material idóneo para un  diagnóstico pedagógico basado en la evaluación formativa dirigida al alumnado en riesgo y a la prevención de las dificultades discalcúlicas, mediante las específicas acciones de autorregulación del alumnado, en su aprendizaje aritmético, en un ámbito donde es fácil observar en la revisión de la bibliografía, la escasez actual de instrumentos válidos y fiables para tal fin.

1. Introducción y presentación del problema

La evaluación formativa es aquella que se caracteriza por el análisis, selección y comunicación sistematizada, que hace el docente para sí mismo y para su alumnado, de información relevante para la mejora de un determinado proceso de enseñanza y aprendizaje. Por ello, la evaluación formativa es siempre compartida, donde el grado de responsabilidad de la acción evaluativa se  encuentra en un gradiente de complementación compartida en la que, frecuentemente el docente asume un mínimo de un cincuenta por ciento de responsabilidad y el resto se complementa con la del alumnado u otros observadores o jueces expertos. Esta acción de coevaluación incrementa los niveles de fiabilidad de los datos formativos de dicha modalidad de evaluación. Fiabilidad que puede ser mejorada aún con la utilización de técnicas, instrumentos y pruebas educativas de validez empíricamente contrastada.

En el ámbito específico de las dificultades de aprendizaje del cálculo, la evaluación formativa  surge como un complemento necesario al diagnóstico clínico psicométrico de éstas, el cual carece de información específica sobre las dificultades y errores concretos. Datos que si es posible obtener desde la evaluación formativa criterial y compartida en cuanto a la devolución de información obtenida en la evaluación, al alumnado con esas dificultades, aspecto clave en una posterior intervención educativa a las necesidades específicas del apoyo educativo específico que requiere cada caso en particular. Para facilitar ésta, el diseño y posterior validación de pruebas analíticas de evaluación formativa y compartida basadas en una metodología observacional sistematizada abre paso a nuevos horizontes sobre la comprensión y atención educativa de esas dificultades de aprendizaje.

2. Fundamentación teórica.

Scriven (1967), en el libro, The Methodology of Evaluation, en el ámbito de la evaluación de programas educativos, propuso originariamente, distinguir entre la información obtenida para la mejora de acciones en proceso, de la utilizada para evaluar el producto o resultado final. De esta manera denomina a la evaluación de procesos como evaluación formativa para distinguirla de la evaluación sumativa o final, de resultados.

Algunos años más tarde, Benjamín S. Bloom aplicó este concepto a la evaluación del aprendizaje de los estudiantes (Anderson, 2014) en contenidos de dominios, resaltando la relevancia de “ofrecer información sobre el proceso de aprendizaje y no sólo sobre resultados finales, es lo que aporta la evaluación formativa a los maestros para que tomen mejores decisiones instruccionales” (Brookhart, 2009:1).

La taxonomía de Bloom (Anderson, 2014) está constituido por un modelo jerárquico que   clasifica objetivos de aprendizaje en niveles de complejidad, asumiendo que el aprendizaje de grado superior depende de la asimilación de conocimientos y habilidades de grados o niveles más básico o inferiores. Esta taxonomía de los objetivos de la educación plantea varios niveles desde el conocimiento, pasando por la comprensión, la aplicación, el análisis y la síntesis. En ese proceso se sitúa la evaluación formativa.

Basado en esa taxonomía, Bloom diseñó un sistema de enseñanza denominado Mastery Learning (Anderson, 2014; López, 2006), donde una característica esencial es la utilización  sistemática de la evaluación formativa, al término de cortos periodos de enseñanza, seguida por instrucción correctiva adaptada a cada estudiante, con lo que se persigue reducir la distancia curricular entre el alumnado más y el menos avanzado. La utilización sistemática de evaluaciones formativas coadyuva con otro elemento clave, la adaptación de la enseñanza a las necesidades específicas de apoyo educativo de cada estudiante.

Como específica López (2006):

Dentro de la evaluación formativa incluye la división de la materia en unidades jerarquizadas y la evaluación diagnóstica frecuente a lo largo del proceso al término de cada unidad de aprendizaje, que ha de ser especialmente más frecuente en las primeras unidades. Estas pruebas darán lugar a dos tipos de alumnos, los que superan la unidad, a los cuales se han de dar oportunidades de ampliación, y los que no la superan, a los cuales se ha de prestar atención de corrección o recuperación (López, 2006: 632).

A finales del siglo XX, Sadler (1989) propone un concepto más amplio de evaluación formativa compartida, incluyendo la posibilidad de coevaluación compartida con los estudiantes, sobre:

• El objetivo a conseguir al final del proceso de enseñanza y aprendizaje.

• La situación competencial actual en que se encuentra el estudiante según la evaluación realizada, como nivel de seguimiento de la programación didáctica.  

• Las instrucciones y tareas didácticas que guiarán al estudiante para alcanzar los objetivos educativos pasando desde la situación actual del sujeto hasta el aprendizaje esperado.

En la última década del siglo XX, el predominio de las teorías cognitivas dirigió el foco de estudio hacia los procesos cognitivos implicados en el proceso de enseñanza y aprendizaje, resaltando las acciones complejas necesarias en el alumnado cuando construyen nuevos conocimientos partiendo de los previos que posee.

Desde esta teoría cognitiva se refuta la utilidad de la mera repetición de ejercicios cuando el estudiante no domina los  aprendizajes requeridos y se insiste en la necesidad de identificar los conceptos previos erróneos y su relevancia en las trayectorias de aprendizaje (Appavoo, Armoogum  & Soyjaudah, 2018; Fauzan, Armiati & Ceria, 2018; Ramírez & De Castro, 2014, Zapatera, 2018). del proceso de construcción de los nuevos conocimientos.

Este enfoque cognitivo de la enseñanza tiene implicaciones directas en el tipo de evaluación en lo referente a las características de la retroalimentación formativa con el alumnado, más centradas en la competencia de aprender a aprender como estrategia metacognitiva de autorreflexión (Clark, 2012).

La meta-cognición se refiere al monitoreo, la reflexión y la dirección de su propio pensamiento por parte de los estudiantes. Implica monitorear la comprensión, ser consciente de las estrategias que se usan para aprender y reconocer cuando ciertos objetivos de aprendizaje se han alcanzado o necesitan ser revisados y mejorados. La meta-cognición es similar a la auto regulación, en el sentido de que supone estudiantes autodirigidos (self-directed)… que se involucran activamente en su propio aprendizaje y usan habilidades metacognitivas… Utilizan herramientas de pensamiento como repaso, elaboración y organización, administran su tiempo durante el aprendizaje, toman notas y buscan ayuda cuando la necesitan… Los estudiantes aprenden cómo y cuándo solicitar retroalimentación y tienden a detectar errores y a tener habilidades correctivas (McMillan, 2010:47).

La evaluación formativa se entiende, de esta manera, relacionada con una evaluación dinámica del desarrollo de procesos de aprendizaje autorregulado:

Una práctica que tenga lugar en el aula será formativa en la medida en que la evidencia sobre el desempeño del alumno se produzca, interprete y use por los maestros, los estudiantes o sus pares para tomar decisiones sobre los pasos siguientes en la instrucción que tienen probabilidad de ser mejores, o de estar mejor fundamentadas, que las decisiones que se habrían tomado en ausencia de dicha evidencia (Black y William, 2009:33).

Actualmente podemos encontrar en la bibliografía, multitud de propuestas y experiencias de autorregulación aplicadas en ámbitos concretos de aprendizaje como; la evaluación formativa en el aprendizaje de la lectoescritura (Castro & Casado, 2017a), la organización escolar de un aula de Educación infantil (Castro & Casado, 2017b), e incluso experiencias aplicadas a alumnado con discapacidad o dificultades de aprendizaje (Butler, 1998).

En este proceso de retroalimentación compartida:

El papel del error en la evaluación es fundamental cuando éste es considerado por el profesor para acompañar al estudiante -o grupo de estudiantes- con miras a motivar las diferentes respuestas a través de la confrontación o presentación de nuevos interrogantes que conduzcan a la creación de un ambiente interesante y, por consiguiente, poco tensionante para el alumno  (Obando y Muñera, 2003:197).

En lo relativo a la aplicación de la evaluación formativa en las dificultades de aprendizaje (DA), es conveniente en principio remitirnos a la primera definición de éstas, cuando Samuel Kirk, las describió como una nueva categoría diagnóstica, como:

Una dificultad de aprendizaje se refiere al retraso, trastorno o desarrollo retrasado en uno o más de los procesos de habla, lenguaje, lectura, escritura, aritmética u otros dominios escolares resultado de un hándicap psicológico causado por una posible disfunción cerebral y/o trastornos emocionales y conductuales. No es el resultado de retraso mental, deprivación sensorial o factores estructurales o instruccionales (Kirk & Bateman, 1962: 73).

Los primeros tipos de evaluación psicométrica y normativa de las DA crearon una gran insatisfacción en el ámbito educativo, que Stenhouse, define de la siguiente manera; “las evaluaciones convencionales de tipo objetivo no van destinadas a comprender el proceso educativo. Lo tratan en términos de éxito y fracaso... el docente debería ser un crítico y no un simple calificador”, (Stenhouse, 1984:166).

La evaluación formativo criterial de los errores y dificultades de aprendizaje es una metodología eficaz para comprender el razonamiento matemático de un sujeto. Entendiendo por qué se ha producido el error, podremos conocer la trayectoria de aprendizaje mediante la cual un determinado sujeto ha llevado a cabo una operación aritmética, en qué punto de esa trayectoria ha ocurrido el error y, por tanto, la manera de corregirlo (Pérez Sánchez, 2009; Socas, 2011). Esta evaluación de los errores ha de basarse en una observación sistematizada con los suficientes niveles de validez y fiabilidad.

Diversos estudios han demostrado que los errores aritméticos presentan una definida consistencia no solo individual, en cada sujeto, sino también colectiva, situada en distintos estratos de edad y nivel educativo, en especial en la etapa de educación básica o primaria de la escolaridad (Socas, 2007). Es por ello que el estudio de los errores sistemáticos es considerado actualmente una línea de investigación prometedora (González, Gómez & Restrepo, 2015;  Herholdt & Sapire, 2014).

La observación sistematizada es una metodología eficaz, tanto en los procesos evaluativos y diagnósticos, como en el ámbito de la investigación educativa. Para alcanzar su eficacia ha de diseñarse en relación a un objetivo pre formulado de diagnóstico o evaluación, planificarse sistemáticamente, estar controlada y relacionada con proposiciones y constructos más generales, así como, sujeta a comprobaciones de validez y fiabilidad. Este procedimiento conlleva la utilización secuenciada de una estrategia inicial básicamente cualitativa que facilite el registro de las observaciones relevantes, en un tipo de registro o rejilla de observación, para finalizar con un procedimiento de análisis cuantitativo (Anguera & Izquierdo, 2006), que transforma las observaciones realizadas desde la metodología cualitativa en cifras o valores numéricos que expresan frecuencias o medidas. Esta combinación de la perspectiva metodológica cualitativa y la cuantitativa en el desarrollo de la metodología observacional es actualmente una estrategia metodológica frecuente y recomendada (Anguera, 2010).

Desde este perspectiva educativa, el modelo de evaluación normativa o estandarizada basado en los test, no es útil para aportar información educativa específica, por lo que se plantea el uso de un modelo educativo formativo criterial, con fin de evaluar el grado de logro de los objetivos educativos en el alumnado (Ortiz, 2004). El uso de los tests normativos necesita la complementación de otras estrategias de evaluación de carácter educativo, como pruebas analíticas basadas en contenidos curriculares e identificación de los errores específicos del alumnado mediante métodos observacionales y listas de cotejo o checklis (Horowitz, 2011).

Las listas de control, verificación o cotejo (checklist) son uno de los instrumentos de evaluación del desempeño más utilizados actualmente, las cuales formando parte de pruebas analíticas, facilitan la obtención de datos relevantes en la evaluación formativa compartida. Su diseño consiste en un listado de criterios para identificar la presencia o ausencia de una serie de conductas o resultados, con la finalidad de evaluar un nivel de desempeño determinado (Morán-Barrios, 2016).

3. Metodología.

El objetivo de este trabajo es la descripción de las características y diseño instrumental de la prueba psicopedagógica analítica de evaluación formativa y criterial de dificultades de aprendizaje del cálculo aritmético EVADAC, (Coronado-Hijón, 2017), con garantías contrastadas de validez y fiabilidad, sujeta al procedimiento de la metodología observacional sistematizada, para lo cual se ha determinado con antelación las categorías de dificultades de aprendizaje, objeto de observación, y se han definido los productos y resultados que interesaba registrar, así como la manera de cuantificación en una medida final que contempla la redacción de un informe de evaluación formativa para la retroalimentación de información y autorregulación del propio aprendizaje del discente.

3.1. Procedimiento

El procedimiento (Coronado-Hijón, 2015) se desarrolló desde una primera fase de fundamentación teórica basada en una revisión bibliográfica para establecer una primera validación de contenido. Como resultado de esta fase se determinó una selección de indicadores sobre los que se implementó una segunda  validación de contenido basada en una evaluación de jueces expertos.  Aunque investigadores como Neuendorf (2011) estiman que dos codificadores son suficientes para el análisis de contenido, para este estudio y con el fin de garantizar, en un primer nivel, la confiabilidad de las observaciones se decidió contar con seis expertos para esta validación previa a la prueba piloto desarrollada posteriormente para realizar una primera evaluación del funcionamiento general de la prueba, que en primer término se implementó sobre una muestra intencionada de alumnado con dificultades matemáticas, compuesta por 17 sujetos con una media de edad de 12’6 años y recién escolarizados en el primer curso de la etapa de Educación Secundaria Obligatoria.

Comprobada la validez de contenido en la prueba piloto, se siguió las fases para la  construcción de pruebas analíticas de aprendizaje “Learning analytics” para la identificación, dimensionalización y comunicación de los datos de evaluación de desempeño, con el fin de entender y atender el aprendizaje frente a las necesidades específicas identificadas.

Las pruebas analíticas de aprendizaje constituyen actualmente una línea de estudio creciente.   Su principal activo es el de combinar información de distintos recursos o instrumentos para optimizar los resultados específicos de aprendizaje (Booth, 2012). Estas pruebas analíticas  pueden combinar metodologías cualitativas y cuantitativas, con la finalidad de obtener una evaluación formativa y compartida.

En la fase experimental, para la observación sistematizada y registro de los datos relevantes se entrenó a dos grupos de ocho jueces observadores (8+8), seleccionados mediante muestreo aleatorio simple entre graduados en Pedagogía y Psicopedagogía por la Universidad de Sevilla, que observaron  de una parte, la presencia de dificultades de aprendizaje del cálculo (DAC),  en las producciones aritméticas de la prueba EVADAC, realizada por 48 sujetos de entre doce y trece años, que estaban recién escolarizados en la etapa de Educación Secundaria Obligatoria (1º ESO)  y de la que se  obtuvo por tanto, 960 respuestas sobre los 20 indicadores seleccionados previamente en la primera fase (48x20).  El otro grupo de jueces siguiendo los mismos indicadores de la prueba, evaluó las producciones aritméticas de 46 sujetos de entre 9 y 10 años, escolarizados en 4º de Educación Primaria (EP), de los que se obtuvieron 920 respuestas (46x20), resultando un total de 94 sujetos y 1.880 respuestas observadas Ambos centros escolares estaban ubicados en una zona de nivel socioeconómico medio de Sevilla.

Para el tamaño de la muestra se siguió el criterio clásico propuesto por Kline (2011) que considera suficiente una muestra a partir de tres veces el número de ítems de una determinada prueba.  En una tercera fase, en un estudio posterior sobre la prevalencia de la categoría de indicadores de dificultades de aprendizaje, recogidos con la prueba analítica (Coronado-Hijón, 2014), se confirmó la validez de estos indicadores, a partir de la constatación de los relevantes índices de frecuencias encontrados.

Página siguiente

ARTÍCULOS RELACIONADOS

• Dificultades en el proceso de lectoescritura
• Discalculia
• Discalculia

OTROS TEMAS

Encuesta