El presente documento da a conocer la forma en que se inicia el proceso de la evaluación cuantitativa a los objetos de aprendizaje (OA), en este caso se utilizarán dos variables dependientes y seis variable independientes, primeramente se indica la forma en que se codifican las variables, plasmando estos valores en una tabla, posteriormente se realiza un proceso de agregación que integre las variables independientes o métricas, utilizando herramientas estadísticas, como lo es la media aritmética ponderada, para obtener la evaluación cuantitativa del nivel de aprendizaje, además se emplea la regresión lineal múltiple para determinar cómo las variables independientes o métricas explican el nivel de aprendizaje y la reusabilidad. Se compara el nivel de aprendizaje y la reusabilidad proporcionada por los evaluadores expertos con el nivel de aprendizaje y la reusabilidad proporcionada por la combinación lineal de las variables o métricas antes indicadas. Determinando con lo anterior, los pesos que proporcionan el mejor ajuste. Cabe hacer mención que la información dada en este documento es un análisis de la investigación que se lleva a cabo en la Universidad Autónoma del Estado de Hidalgo, en el desarrollo de OA y su posterior evaluación.
Palabras clave: objeto de aprendizaje, granularidad baja, reusabilidad, nivel de aprendizaje, evaluación cuantitativa.
This document discloses how the process quantitative evaluation of learning objects (LO) starts. In this case two dependent variables and six independent variable is used, firstly indicated how the variables are coded , reflecting these values in a table, then is performed an aggregation process that integrates independent variables or metric, using statistical tools, as is the weighted arithmetic , for the quantitative evaluation of the level of learning. Used the multiple linear regression to determine how the independent variables or metric explain the learning level and reusability. Is compared the level of learning and reusability provided by the expert evaluators with the level of learning and reusability provided by the linear combination of the variables or metric given above. Determining with the above, the weights that provide the best fit. It should be mentioned that the information given in this paper is an analysis of the research carried out at the Autonomous University of Hidalgo State, Mexico, in the development of LO and its subsequent evaluation.
Keywords: Learning object, low granularity, reusability, learning level, quantitative evaluation.
En la realidad educativa actual, el contar con el apoyo de OA eficientes aún en contextos educativos diferentes, constituye en la práctica, una opción excelente, sin embargo no se cuenta con ella, debido a que la mayoría de los materiales desarrollados y disponibles en repositorios de este tipo, aun cuando su desarrollo se basa en los estándares correspondientes, luego de evaluarlos, en su mayoría, llevan a la conclusión de que no reúnen las capacidades o cualidades que hagan posible su reusabilidad (Paur & Rosaningo, 2008). Recientemente continúan los trabajos de desarrollo de proyectos orientados a la construcción de OA en la diversas instituciones de educación, especialmente de nivel superior, con el fin de llevar a cabo una evaluación cuantitativa y/o cualitativa de la influencia, el efecto y el apoyo que el uso de los OA producen sobre el alcance de objetivos de aprendizaje establecidos, como resultado del proceso educativo en las diferentes asignaturas, especialmente en aquellas con alto grado de dificultad. En el caso de los OA como recursos didáctico en el área de las matemáticas, posterior a al desarrollo e implementación de OA dentro del proceso educativo, los resultados obtenidos han sido positivos en términos de aprendizaje (Aragon & Castro, 2009). Siendo el objetivo general de la investigación en estudio construir un modelo cuantitativo para la evaluación de los OA tomando en cuenta las variables dependientes nivel de aprendizaje y reusabilidad, así como las variables independientes: Granularidad baja, Recurso multimedia, Contenido, Estructura de los ejercicios, Estructura de las preguntas de evaluación, Apariencia, Descontextualización, Metadato, Ejercicios y Evaluación como resultado.
Para estimar el nivel de aprendizaje y la reusabilidad de los OA es necesario un proceso de agregación que integre las variables independientes o métricas indicadas en la siguiente tabla, donde el valor máximo para todos los ítems es el mismo y es de doce puntos en base a la codificación.
Variable Dependiente |
Variable Independiente | Ítems | Codificación | Niveles de medición. |
| Nivel de Aprendizaje | Granularidad baja | ¿La cantidad de conocimiento está dosificada como concepto indivisible? ¿Posee un solo objetivo de aprendizaje? |
0/En desacuerdo 2/Ni de acuerdo ni en desacuerdo 4/De acuerdo 6/Totalmente de acuerdo |
Ordinal |
| Nivel de Aprendizaje | Recurso multimedia | El video apoya:
|
0/En desacuerdo 1 /Totalmente de acuerdo |
Ordinal. |
| Nivel de Aprendizaje | Contenido | ¿Establece claramente la diferencia con otros conceptos similares? ¿Establece claramente la explicación de en qué consiste el concepto? ¿Ejemplifica de forma clara y diversa el concepto? ¿Es de granularidad baja? ¿La explicación es amena y agradable? ¿El conocimiento contenido en el OA es confiable y coincide con lo revisado en otras fuentes bibliográficas? |
0/En desacuerdo. 1/De acuerdo. 2/Totalmente de acuerdo. |
Ordinal. |
| Nivel de Aprendizaje | Estructura de los ejercicios | ¿Hace preguntas breves inter ejercicio para forzar ir más allá al alumno? ¿Relaciona los ejercicios con la vida diaria proporcionando un aprendizaje significativo. ¿Elije el recurso multimedia según el proceso mental que desea generar? ¿La redacción es sencilla y clara? ¿Muestra ejercicios de menor a mayor complejidad? ¿Emplea un máximo de 10 ejercicios por OA? |
0/En desacuerdo. 1/De acuerdo. 2/Totalmente de acuerdo |
Ordinal. |
| Nivel de Aprendizaje | Estructura de las preguntas de evaluación (como retroalimentación) | ¿El resultado del examen coincide con la autoevaluación del estudiante? ¿El resultado del examen refleja las debilidades del alumno? ¿Expresa mensajes de apoyo al alumno que le motiven a seguir? ¿Pregunta al usuario que tipo de evaluación prefiere? ¿Pregunta al usuario si está listo para ser evaluado? ¿Las preguntas se diseñan de manera que permiten al alumno proponer, crear? ¿Cuenta con preguntas abiertas? ¿La redacción es sencilla y clara? ¿Los problemas incrementan complejidad de forma gradual con la intención de motivar? ¿Tiene como máximo 15 preguntas? |
0/En desacuerdo. 1/De acuerdo. 2/Totalmente de acuerdo |
Ordinal. |
| Nivel de Aprendizaje | Apariencia | ¿La combinación de colores y fondo es adecuada y refleja el tema? ¿Usa imágenes nítidas y Tablas? Empleo atractivo de formato 3d. ¿El formato de texto es atractivo? ¿Los botones utilizados son muy conocido o describen su uso? ¿La navegación en el OA no requiere conocimiento experto en computación? |
0/En desacuerdo. 1/De acuerdo. 2/Totalmente de acuerdo |
Ordinal. |
| Reusabilidad | Granularidad baja | ¿La cantidad de conocimiento está dosificada como concepto indivisible? ¿Posee un solo objetivo de aprendizaje? |
0/En desacuerdo 2/Ni de acuerdo ni en desacuerdo 4/De acuerdo 6/Totalmente de acuerdo |
Ordinal. |
| Reusabilidad | Descontextualización | ¿Es autocontenido? ¿Está completamente desligado de todo contexto? |
0/En desacuerdo 2/Ni de acuerdo ni en desacuerdo 4/De acuerdo 6/Totalmente de acuerdo |
Ordinal. |
| Reusabilidad | Metadato | ¿Muestra el nombre del OA? Muestra de manera general el contenido? ¿Menciona el S.O. requerido para ejecutar el OA? ¿Describe los conocimientos previos que debe reunir el usuario? |
0/En desacuerdo 1/Ni de acuerdo ni en desacuerdo 2/De acuerdo 3/Totalmente de acuerdo |
Ordinal. |
| Reusabilidad | Contenido | ¿Tiene un eje nocional? ¿Posee eje de diferenciación? ¿Posee un eje ¿categorial? ¿Posee eje de vinculación? ¿Pose eje de caracterización? ¿Posee eje de ejemplificación? |
0/En desacuerdo. 1/De acuerdo. 2/Totalmente de acuerdo |
Ordinal. |
| Reusabilidad | Ejercicios | ¿Se entiende claramente la explicación de cada uno de los ejercicios? ¿Los ejercicios son comprensibles para el alumno, sea cual sea su área del conocimiento? ¿Los ejercicios contribuyen al aprendizaje del alumno? |
0/En desacuerdo 2/Ni de acuerdo ni en desacuerdo 3/De acuerdo 4/Totalmente de acuerdo |
Ordinal. |
| Reusabilidad | Evaluación como resultado | ¿Se entiende claramente lo solicitado en c/u de las preguntas? ¿El contenido del OA es suficiente para dar respuesta correcta a la evaluación? ¿Las preguntas de evaluación contribuyen al aprendizaje del alumno? |
0/En desacuerdo 2/Ni de acuerdo ni en desacuerdo 3/De acuerdo 4/Totalmente de acuerdo |
Ordinal. |
Tabla 1. Tabla de codificación del Nivel de aprendizaje y la Reusabilidad.
El proceso de agregación que integre las variables independientes se va a realizar mediante la media aritmética ponderada, asignando a cada variable independiente una ponderación o peso de tal manera que el peso mayor se le da a la granularidad baja, esto con base en lo establecido por Moreno (2010), estudio que la describe como factor crucial para el aseguramiento de la reusabilidad, basado en el estudio realizado por Moreno (2013) en el que se recaba la opinión de 500 usuarios quienes participaron en el proceso de pruebas de OA desarrollados, donde un alto porcentaje coincidió en que la dosificación del conocimiento en nivel atómico contribuye ampliamente al aprendizaje, como se indica en la siguiente tabla.
Métricas (Variables independientes o explicativas) |
Ponderación |
| Granularidad baja | 0.5 |
| Recurso multimedia | 0.1 |
| Contenido | 0.1 |
| Estructura de los ejercicios | 0.1 |
| Estructura de las preguntas de evaluación | 0.1 |
| Apariencia | 0.1 |
Tabla 2.Variables independientes o explicativas y su ponderación.
Con lo anterior tenemos los parámetros necesarios para determinar el nivel de aprendizaje mediante la combinación lineal de las variables independientes o métricas indicadas en la tabla 1 y su ponderación indicada en la tabla 2. Lo anterior por medio de la fórmula de la media aritmética ponderada.
Donde los pesos Wi son los pesos de cada una de las variables explicativas y Xi son cada una de las variables independiente o métricas.
A continuación se toma una muestra de cinco OA, muestra no significativa únicamente para ejemplificar la obtención cuantitativa del nivel de aprendizaje utilizando los parámetros indicados en la tabla 1 y la tabla 2.
De esta muestra se obtiene el valor de cada una de las variables independientes (Xi) realizando la sumatoria del valor de los ítems que corresponden a cada variable, multiplicando por su ponderación y realizando la sumatoria como indica la fórmula de la media aritmética ponderada. Con lo anterior se obtiene la siguiente tabla.
| Registro. | Nivel de Aprendizaje (Combinación lineal de las métricas) | Granularidad baja X1 | Recurso multimedia X2 | Contenido X3 | Estructura de los ejercicios X4 | Estructura de las preguntas de evaluación X5 | Apariencia X6 |
| Y | WiXi | WiXi | WiXi | WiXi | WiXi | WiXi | |
| 1 | 9.8 | 6 | 0.6 | 0.8 | 1 | 0.8 | 0.6 |
| 2 | 10.0 | 6 | 1 | 1 | 0.8 | 0.6 | 0.6 |
| 3 | 7.9 | 4.5 | 0.4 | 1 | 0.8 | 0.6 | 0.6 |
| 4 | 10.8 | 6 | 1 | 0.6 | 1.2 | 1 | 1 |
| 5 | 8.9 | 4.5 | 0.8 | 0.6 | 0.8 | 1 | 1.2 |
Tabla 3. Obtención del nivel de aprendizaje mediante la combinación lineal de las métricas por medio de la media aritmética ponderada.
De los datos anteriores podemos observar que respecto a la evaluación cuantitativa del nivel de aprendizaje, el OA que tiene la mayor puntuación es el que tiene el registro No. 4, sin embargo falta emplear la regresión lineal múltiple para determinar cómo las variables independientes o métricas explican el nivel de aprendizaje. También falta comparar el nivel de aprendizaje proporcionado por los evaluadores expertos con el nivel de aprendizaje proporcionado por la combinación lineal de las variables o métricas antes indicadas, determinando con lo anterior los pesos que proporcionan el mejor ajuste. Estas últimas evaluaciones se han realizado en la investigación de estudio a la que se refiere el presente documento. De la misma forma en lo que respecta a la evaluación cuantitativa de la variable denominada reusabilidad.
Sin duda la inclusión de las tecnologías de la información y comunicación en el ámbito educativo ha obligado a los docentes a desarrollar recursos tecnológicos instruccionales, que aunque en teoría tengan todas las características y estándares necesarios para cumplir como recurso instruccional, eso no lo es todo, es necesario su evaluación no únicamente cualitativa sino cuantitativa, de tal manera que cuando se elabore un OA se tenga en cuenta cuales son las variables que tienen mayor ponderación o peso y tratar de lograr el mayor valor de estas, para que al realizar su evaluación cuantitativa, este logre una calificación cercana o igual al valor máximo. Investigaciones como la desarrollada en la Universidad Autónoma del Estado de Hidalgo y que es objeto de estudio del presente documento, son necesarias para lograr que los recursos tecnológicos instruccionales, en especial los objetos de aprendizaje, cumplan el objetivo para lo cual fueron diseñados: Apoyar el aprendizaje en las personas independientemente del contexto o escenario que se encuentren.
Aragón, E., Castro, C. (2009). Objetos de aprendizaje como recursos didácticos para la enseñanza de las matemáticas. Apertura, vol. 1.
Moreno, G., Vélez, D. & Calva, R. (2013). Aspectos metodológicos considerados en el desarrollo de OA. Boletín científico XIKUA, Vol. 1. Recuperado el día 8 de septiembre 2013 desde /scige/boletin/tlahuelilpan/n1/titulo.html
Moreno, G., Vélez, D. & Cornejo, V. (2013). Diseño de granularidad baja en OA. 2o. Congreso Nacional en Tecnologías de la Información 2013. Recuperado el día 7 de septiembre 2013, desde http://sistemascomputacionalestlahuelilpan.files.wordpress.com/2012/10/disec3b1o-de-granularidad-baja-en-objetos-de-aprendizaje.pdf
Paur, A., Rosanigo, Z. (2008). Objetos de Aprendizaje – Factores que potencían su reusabilidad. XIV Congreso Argentino de Ciencias de la Computación. P.12. Recuperado el día 7 de septiembre de 2013 desde http://sedici.unlp.edu.ar/handle/10915/22004
[a] Profesor del Área Académica de Sistemas Computacionales, Escuela Superior de Tlahuelilpan, UAEH.
[b] Profesor investigador del Área Académica de Sistemas Computacionales, Escuela Superior de Tlahuelilpan, UAEH.