Reporte de evaluación
Antecedentes. Descripción del AVA evaluado
El
AVA evaluado corresponde al Curso en línea, masivo y abierto “Conceptos
básicos de salud ambiental” diseñado
e impartido por el Instituto Nacional de Saludos Pública, en una plataforma
propia que fue desarrollada por la Subdirección de Tecnología e Innovación
educativa, llamada CLiMA (http://clima.inspvirtual.mx/sitio/index.php).
Los
Cursos en Línea Masivos y Abiertos o Massive Online Open Course (MOOC por sus
siglas en ingles), son una herramienta que permite distribuir contenido
educativo a través de Internet con un registro abierto e ilimitado
(Liyanagunawardena, 2014). El primer MOOC fue implementado en 2008 por George
Siemens y Stephen Downes y se diseñó bajo la teoría del conectivismo (Downes,
2008).
Aunque
existen diversos tipos de MOOC, lo más comunes básicos son dos tipos: cMOOC
(apoyados en teoría conectivista) y xMOOC (centrados principalmente en los
contenidos y están diseñados bajo un enfoque mas tradicional de formación
virtual estructurada (Cabero, Llorente & Vázquez, 2014).
En
en INSP el primer curso de este tipo, se diseñó en el 2013 para dar respuesta a
una emergencia epidemiológica por un brote de Cólera que se presentó en el
país, sin embargo, actualmente ya se cuenta con una oferta de 14 cursos. Estos
cursos son diseñados principalmente basado en los contenidos (xMOOC).
El MOOC evaluado está dirigido a cualquier
profesional interesado en temas de salud y medio ambiente. Es abierto y masivo, no hay límite de participantes
solamente deben estar interesados en los temas que se ven en el curso.
Tiene
como propósito fundamental, comprender
la relación básica entre la salud y los factores ambientales con la finalidad
de llevar a cabo medidas de prevención y cuidado al medio ambiente.
Su
duración es de 12 horas, pero no hay
fecha definida para que el participante termine el curso, es decir, éste puede
marcar su propio ritmo.
Está
diseñado bajo una combinación de las teorías Cognitivista y Conectivista. La
metodología propuesta implica autogestión; el participante marca su propio ritmo académico, profundiza
en los contenidos según su interés, se autoevalúa mediante ejercicios basados en la
metodología de aprendizaje basada en juegos, cuando lo
considere oportuno y las veces que sea necesario, hasta sentirse completamente
listo para presentar la evaluación formal la cual le dará la acreditación o no
del curso.
La
mediación y la comunicación educativa son fundamentales para el logro de los objetivos
educativos en cualquier ambiente de enseñanza-aprendizaje, pero en ambientes
virtuales de aprendizaje (AVA) cobran mayor relevancia debido a que, al existir
una distancia física entre docentes y alumnos, es necesario hacer sentir al
alumno que “no está solo” y así evitar su ansiedad, soledad e inseguridad
(Chan, Ortiz & Pérez, 1997). Específicamente en este AVA, como no se cuenta
con la figura de un tutor, se presta mayor cuidado a la información que se
presenta al alumno, es decir se cuida extremadamente el desarrollo del
contenido, la interacción que el participante tiene con el material y con la
plataforma, y la retroalimentación automatizada que se le brinda. Solo en caso
de que el participante requiera ayuda y la solicite se brinda este acompañamiento
personalizado.
Objetivo de la
evaluación
El objetivo de la evaluación es identificar áreas para mejorar la calidad potencial del curso masivo en línea “Conceptos básicos de salud ambiental” mediante la aplicación de la norma Open ECBCheck, lo que a su vez permitirá brindar un servicio eficiente a los usuarios y coadyuvar a que el INSP logre sus objetivos de capacitación propuestos.
Rubio (2003), plantea que la evaluación y gestión de la calidad basada el concepto de mejora continua, busca mejorar continuamente la eficacia, eficiencia y funcionalidad de lo que se evalúa.
Modelo elegido y
dimensiones a evaluar
El modelo
de evaluación elegido fue la Norma Open
ECBCheck. Se eligió este modelo debido a que es un modelo integrador que
hace una evaluación de la calidad de cursos y programas, es muy accesible
debido a que su instrumento es gratuito y se puede hacer un ejercicio de
práctica previamente si se está interesado en obtener la certificación o en
caso de no querer certificación es un ejercicio muy integrador para detectar
áreas de oportunidad de mejora de la calidad. Por otro lado, el modelo denota
una gran fortaleza, fue creado por iniciativa de Capacity Building
International de Alemania (InWEnt) y la Fundación Europea para la Calidad en la
Enseñanza Virtual (EFQUEL-European Foundation for Quality in eLearning) y en él
han colaborado aproximadamente 30 organizaciones internacionales comprometidas
con la calidad del aprendizaje electrónico.
El marco
de criterios para evaluar se encuentra disponible al público en: http://ecbcheck.efquel.org/.
Este
modelo contiene una serie de indicadores, distribuidos en seis áreas: A
Información y organización del programa; B Orientación a los Grupos objetivos; C.
Calidad de los contenidos; D. Diseño del programa/curso; E Diseño de medios; F.
Tecnología; y G Evaluación y revisión.
Los criterios se dan como Mínimos y Excelencia.
Los criterios mínimos corresponden a aquellos que son absolutamente necesarios
para una evaluación de calidad positiva del curso o programa; y los criterios
de excelencia son aquellos que caracterizan los altos logros en el campo de la
calidad del e-learning. Sin embargo, estos criterios pueden ser ajustados,
según requisitos propios de cada institución, aunque para obtener la
certificación oficial OPEN ECBCheck, debe utilizarse la configuración estándar
de los criterios de Mínimo / Excelencia proporcionados en el formato original.
Pasos seguidos en
la evaluación
Paso 1. gestión de permisos
Paso 1. gestión de permisos
Lo primero que se realizó fue explorar con la Subdirectora de Tecnología e Innovación Educativa, de la Secretaría Académica, del INSP, cuáles de los proyectos educativos que se estaban operando recientemente y que se seguirán operando al menos durante dos años más y que no habían sido evaluados. A partir de esa primera charla se decidió evaluar el curso anteriormente mencionado y se informó al experto de contenidos del mismo sobre la evaluación que se realizaría.
Paso 2. Descarga y revisión del instrumento de evaluación en su versión original.
Paso 3. Ajustes de la versión original del
instrumento
Se realizó
traducción de inglés a español para facilitar la revisión de todos los
interesados en la institución.
Ajustes de
los ítems: el instrumento original contiene 51 ítems, sin embargo, el
instrumento que se aplicó quedó con un total de 36, debido a que se omitieron
18, que correspondían únicamente a evaluar programas y no cursos; se agregaron
3 ítems que no estaban considerados en el instrumento original puesto que se
consideró importante evaluar esos puntos; se modificó la redacción de dos ítems
y se enfocó más a MOOC. Los criterios Mínimo “M” y Excelencia “E” fueron
respetados como la clasificación contenida en el instrumento original y a los
nuevos ítems se le colocaron criterios tomando como referencia el interés del
evaluador y de la institución. Quedaron un total de 30 criterios mínimos (83%
del total) y 6 criterios de excelencia (17% del total); en el instrumento
original hay un total de 75% de mínimos y 25% de excelencia.
Paso 4. Aplicación de la evaluación y llenado del instrumento
La
evaluación se realizó por la sustentante, tomando como referencia la guía
incluida por el propio instrumento (Open ECBCheck).
Lo primero
fue realizar mi inscripción al curso como estudiante, con la intención de
navegarlo y tener la vista de alumno, así como para tener acceso a las
evaluaciones del mismo. Se navegó una primera vez por todo el curso y
posteriormente una segunda guiada por el instrumento, es decir, para verificar
el cumplimiento o no de cada rubro a evaluar se buscó la sección del curso
donde se podía visualizar esto. En el caso del funcionamiento del curso en
varios navegadores, se realizó pruebas en dos equipos de cómputo, una PC y una
laptop. Por otro lado, como no se encontró en plataforma la información sobre
el primer rubro a evaluar (Información y organización del programa) se platicó
con la diseñadora instruccional del curso para obtener más información.
Es
importante mencionar que el modelo, norma Open ECBCheck, plantea que en la fase
1 de la evaluación, solo se medirán los criterios mínimos para evaluar la
calidad y si uno o más de lo criterios mínimos no se cumplen, el programa o
curso que se está evaluando debe ser mejorado antes de pasar a la segunda fase.
Sin embargo, aunque en la primera fase de la evaluación realizada por la
sustentante, de los 30 criterios mínimos se cumplieron solamente 19, lo que
representa el 63%, se decidió pasar a la segunda fase de evaluación puesto que
por el tiempo con el que se contó para la evaluación y por la carga laboral del
equipo desarrollador del curso, no era viable hacer los ajustes antes de pasar
a la fase dos.
Paso 5. Análisis de los resultados y recomendaciones
En este
último paso o fase se analizaron los resultados que obtuvo el curso.
El archivo
de Excel, donde vienen todos los ítems a evaluar, así como la descripción de
cada uno, también contiene una pestaña que se denomina “Resultados"; en esta
sección se hace un concentrado de los resultados obtenidos y cómo se
distribuyen los criterios de Mínimo y Excelencia.
En caso de
que se cumplan los Criterios Mínimos, todos los totales se mostrarán en verde;
si no se cumplen los criterios mínimos, los totales se mostrarán en rojo. Para
los Criterios de Excelencia, se mostrará una suma de la calificación general y
se proporcionará un porcentaje del puntaje máximo.
En la
tabla 1 se muestran los resultados obtenidos.
 |
| Tabla 1. Resumen de resultados |
De los 30
criterios mínimos se cumplieron solamente 19, lo que representa el 63%, se
decidió pasar a la segunda fase de evaluación puesto que por el tiempo con el
que se cuenta en este momento y por la carga laboral del equipo desarrollador
del curso, no era viable hacer los ajustes antes de pasar a la fase dos. Como
resultado de la segunda fase (criterios de excelencia) se encontró que, de los
6 criterios evaluados, para lo cual se podía obtener un puntaje máximo de 18
puntos, se obtuvo un puntaje de 11 puntos, lo que representa el 61%. Los
criterios de excelencia se califican con una escala de 0 a 3,
donde: 0 = no cumplido/1 = parcialmente cumplido/ 2 = se
reunieron adecuadamente/3 = cumplido excelentemente.
El área con mayor oportunidad de mejora es la A. Información del programa y de su organización, donde de 5 criterios a cumplir solo se cumplieron 2, específicamente en el criterio A.1 Descripción general, Objetivos y Organización del Programa de 4 criterios solamente se cumplió 1. En este curso sí se muestra antes de que el candidato se inscriba, las horas de duración, los créditos equivalentes a estas horas, el objetivo general, sin embargo, no se muestra ninguna otra información específica del curso y no hay datos de contacto para preguntar más sobre el curso.
Se recomienda incluir lo planteado por la norma Open ECBCheck: objetivos generales de aprendizaje; métodos y las herramientas que contribuirán a cumplir los objetivos de aprendizaje; grupo objetivo; requisitos previos para la participación; costo del curso (que en este caso es gratuito y sólo la constancia tiene un valor económico), datos de contacto en caso de tener dudas, etc.
En el criterio C. Calidad del contenido, de 3 criterios mínimos a cumplir se alcanzaron 2 pero de los dos criterios de excelencia se obtuvo la máxima puntuación, por lo que podemos decir que el contenido es de calidad, sin embargo, se sugiere mejorar este criterio mismo que no se cumple actualmente: C.3 El contenido es sensible al género. Se tiene en cuenta la diversidad cultural.
La sugerencia es redactar el contenido del curso considerando sensibilidad al género.
En el criterio D. Diseño del Curso, no se obtuvieron resultados tan alentadores como en el criterio anterior, de 11 criterios mínimos se cumplieron solamente 6, lo que representa el 55% y de los dos criterios de excelencia se obtuvo de 12 puntos posible, solamente 5 puntos lo que representa el 42%. No se cumplieron estos criterios específicos:
- D.1.5. A través de las actividades de aprendizaje a los aprendices se les estimula para ser críticos y ver los temas desde diferentes perspectivas.
- D.1.6 El contenido del programa es organizado en una secuencia lógica desde el más simple hasta el más complejo concepto. Los módulos/lecciones/unidades son construidas progresivamente con base en los anteriores.
- D.1.7. En cada sesión se realiza un encuadre de la sesión anterior, así como se plantean los objetivos y las competencias que adquirirán al final de la sesión
- D.3.2 Cada unidad de aprendizaje es presentada con los elementos necesarios para guiar a los aprendices a lograr los objetivos de aprendizaje.
- D.3.3 Módulos/lecciones/unidades proveen un glosario de términos relacionado con los materiales de aprendizaje.
- D.6.1 Las tareas se formulan con claridad y se explican adecuadamente a los alumnos. Los estudiantes tienen una comprensión clara de lo que se espera que lleven a cabo y cómo se medirá su rendimiento.
El criterio D.3.4 hace una distinción entre materiales para estudio/lectura obligatorios o recomendados, éste se cumplió parcialmente, debido a que no es tan explícito, pero sí se presenta el contenido principal que corresponde al obligatorio y en la sección de "más información" la no obligatoria.
Las recomendaciones para este criterio son:
Las recomendaciones para este criterio son:
- Incluir actividades que estimulen e pensamiento crítico en los participantes
- Al incido de cada tema incluir elementos de el tema anterior a modo de cierre y recuperación de conocimiento.
- Incluir en cada tema los objetivos específicos e indicaciones específicas a modo de guía.
- Incluir un glosario de términos relacionados con los materiales de aprendizaje.
- Ser más explícitos en la distinción de materiales obligatorios y opcionales
En el criterio F. Tecnología, se cumplieron 2 criterios mínimos de 3 posibles, lo que representa un 67%. No se cumplió este criterio: F.1 Los materiales de aprendizaje descargables tienen formatos comunes y tamaño aceptable. Los materiales se presentan en pantalla y hay que contener internet para visualizarlos y no tienen la opción para descargarlos.
Los criterios B. Orientación del grupo objetivo y G.1 Evaluación y Revisión cumplieron al 100% los criterios mínimos.
Paso 6. Entrega de resultados
El presente reporte fue entregado a la Subdirectora de Tecnología e Innovación Educativa y al experto de contenido del curso. Posteriormente se programará una reunión para presentarles los resultados a los dos colaboradores mencionados anteriormente, más el diseñador instruccional y el programador del curso.
Paso 6. Entrega de resultados
El presente reporte fue entregado a la Subdirectora de Tecnología e Innovación Educativa y al experto de contenido del curso. Posteriormente se programará una reunión para presentarles los resultados a los dos colaboradores mencionados anteriormente, más el diseñador instruccional y el programador del curso.
Conclusiones y reflexiones
Considero
que el instrumento aplicado sí cumplió el objetivo de la evaluación, y los
datos recabados corresponden con los esperados. Con este ejercicio, se logró identificar
áreas de oportunidad de mejora de la calidad del curso, según lo planteado por
el modelo elegido.
Se
recomienda hacer los ajustes pertinentes en los criterios que no se cumplieron,
primeramente, en los criterios mínimos, para posteriormente trabajar sobre los
criterios de excelencia.
Como una
desventaja de este ejercicio, considero que mi interpretación personal influye
en gran medida en la evaluación, porque, aunque el instrumento da elementos
para evaluar, la percepción de cada evaluador puede ser un tanto diferente.
Tomando como referencia el proceso de evaluación que se realiza para obtener
esta certificación de calidad, donde la evaluación de hace en pares y se
promedia, decidí compartir el instrumento modificado con una colega de trabajo
que conoce el curso y tiene perfil de educación, sin embargo, aunque comentó
que le interesaba colaborar, a la fecha no he recibido su evaluación, razón por
la cual solo se entregan los resultados de la evaluación realizada por la
sustentante.
Referencias y Bibliografía
Cabero, J.
A., Llorente, M. C. C. & Vázquez, A. I. M.
(2014). Las tipologías de mooc: Su diseño e implicaciones educativas. Revista de currículum y formación del
profesorado. VOL.18, Nº 1(enero-abril 2014). Recuperado de
http://www.ugr.es/~recfpro/rev181ART1.pdf
Cama,
Z. Y. Medición y Evaluación Cuantitativa de la Calidad de Entornos Virtuales de
Enseñanza -Aprendizaje ( EVEA ) en el Posgrado Basado en la Norma Open
ECBCheck. Rev. PGI, no. 1, pp. 109–120, 2014. Recuperado de http://www.revistasbolivianas.org.bo/pdf/rpgi/n1/n1_a22.pdf
Chan, M.
E., Ortiz, M. G. y Pérez, M. Del S. (1997). La relación educativa. Un proceso
de comunicación “en Módulo: Aprender a comunicar, comunicar para aprender”. México.
CECAD/Universidad de Guadalajara.
Downes S.
Places to Go: Connectivism & Connective Knowledge. J
Online Educ.
2008;5(1):1–6
Guerrero,T., & Flores,H. (2009).
Teorias del aprendizaje y la instrucción
en el diseño de materiales informáticos. Educere, 45,317-329. Recuperado el 18
de enero de 2017 de: http://scielo.org.ve/scielo.php?pid=S1316-49102009000200008&script=sci_arttext
Herrera, M. (2006).
Consideraciones para el diseño didáctico de ambientes virtuales de aprendizaje:
una propuesta basada en las funciones cognitivas del aprendizaje. Revista Iberoamericana de Educación,
38. Recuperado de http://dialnet.unirioja.es/servlet/articulo?codigo=1959493
Liyanagunawardena
T, Williams S (2014). Massive open online courses on health and
medicine:review. J Med Internet Res.16(8):e191.
Martínez, G. M. F. (2010). Espacios de
aprendizaje en educación superior: de la profesionalización a la innovación
para la transformación social. Apertura, 2(2), 18-27. Recuperado
de http://www.udgvirtual.udg.mx/apertura/index.php/apertura/article/view/138/153
Open ECBCheck. Recuperado de http://www.ecb-check.net/files/2013/01/Open-ECBCheck_handbook.pdf
Rubio, M. J. (2003). Enfoques y
modelos de evaluación del e-learning. Revista Electrónica de Investigación y
Evaluación Educativa, v. 9, n. 2. Recuperado de
http://www.uv.es/RELIEVE/v9n2/RELIEVEv9n2_1.htm
Siemens, G. (2004). Conectivismo: una
teoría del aprendizaje para la era digital. Publicado bajo Licencia Creative
Commons 2.5. Recuperado de http://edublogki.wikispaces.com/file/view/Conectivismo.pdf
