Para optimizar la evaluación del aprendizaje MOOC, esta investigación tiene tres objetivos principales. En primer lugar, clasificaremos los factores que influyen en la autoevaluación de los estudiantes chinos en los MOOC. En segundo lugar, utilizaremos una herramienta analítica para analizar las autoevaluaciones de los estudiantes en los MOOC. En tercer lugar, construiremos un paradigma integrado de autoevaluación del alumno. Por este motivo, se propuso la siguiente pregunta de investigación: ¿Qué factores influyen en la autoevaluación de los estudiantes en los MOOC? La autoevaluación del alumno es una evaluación exhaustiva en la que los alumnos tratan de encontrar los cambios en su aprendizaje profundo e implícito. Necesitamos teorías apoyables para clasificar y simplificar el proceso de autoevaluación de los estudiantes.

Para responder a la pregunta, una teoría llamada «los siete pilares de la evaluación» puede ayudar. Los principales contenidos de esta teoría son los siguientes: Falchikov (2004) describió siete cuestiones básicas en el ámbito de la evaluación: «Por qué evaluar», «Cómo evaluar», «Qué evaluar», «Cuándo evaluar», «Quién evalúa», «En qué medida» y «Dónde». Será más conciso y lógico seleccionar los factores que afectan a la autoevaluación de los alumnos a partir de estas siete preguntas básicas. De acuerdo con las características del aprendizaje MOOC, el autor consultó a quince expertos, incluidos expertos en tecnología educativa de universidades chinas, directores y profesores de apoyo de escuelas piloto de aulas MOOC, y finalmente determinó nueve factores que afectan a la autoevaluación de los estudiantes en MOOC. Los nueve factores figuran en la Tabla 1.

Necesitamos aclarar la relación entre estos importantes factores mencionados para establecer las bases de un paradigma integrado de autoevaluación. Con este fin, se seleccionó el modelo estructural interpretativo (ISM) como herramienta analítica en este estudio. El ISM es un modelo estructural propuesto por el profesor John Warfield en 1973, cuyo objetivo es analizar problemas complejos de estructura social. La idea básica es aprovechar la experiencia práctica, los conocimientos profesionales y la asistencia informática de los ciudadanos. Al estructurar y estratificar las relaciones complejas y desordenadas entre los elementos del sistema, se construye un modelo de estructura explicativa jerárquica y multinivel. La característica de este modelo es que muchos factores difusos del sistema se descomponen en una estructura interna visual, organizada y jerárquica para que las personas puedan entender claramente la relación entre los factores, captar la esencia del problema y encontrar soluciones. Es especialmente adecuado para el análisis de sistemas con muchas variables, relaciones complicadas y una estructura poco clara. El ISM desempeña un papel muy importante en la revelación de la estructura del sistema, especialmente en el análisis del contenido y la estructura de los recursos didácticos, el diseño y desarrollo de recursos de aprendizaje y la exploración del modo del proceso de enseñanza. Se trata de un método de investigación único en la investigación sobre tecnología educativa.

El ISM es una valiosa herramienta de gestión y un método cualitativo e interpretativo utilizado para generar soluciones a problemas complejos e identificar la importancia relevante de cada variable (Shen et al., 2016; Pfohl et al., 2011). El modelo estructural interpretativo (ISM) consiste en crear un modelo estructural compuesto por nodos y aristas dirigidas calculando la relación lógica entre los elementos. El modelo consiste en describir la jerarquía y la causalidad dentro del sistema complejo mediante métodos matemáticos. Dada la amplia aplicabilidad y la eficacia del modelo en el análisis de los factores internos, este trabajo utilizó el ISM para analizar los factores de influencia de la autoevaluación de los estudiantes, de modo que podamos comprender la estructura interna del proceso de autoevaluación de los estudiantes en MOOC. Los distintos pasos que intervienen en el ISM se han extraído de Abbas et al. (2022);Ravi &Shankar (2005); y Shahabadkar (2012). El proceso de análisis es el siguiente:

La matriz de adyacencia A se utiliza para representar la relación de influencia entre dos elementos del sistema, donde,

La matriz alcanzable B puede obtenerse mediante la operación lógica de la matriz de adyacencia y la matriz de identidad, y la fórmula es:

Además, se indican los elementos subyacentes:

Si e_i es el elemento subyacente, entonces el conjunto antecedente A (e_i) contiene al propio e_i y a los elementos fuertemente conectados. El conjunto alcanzable R (e_i) se contiene a sí mismo, a los elementos fuertemente conectados a e_i y a los elementos alcanzables desde e_i. Si hay un elemento e_j en el nivel inferior de e_i, e_j solo puede estar contenido en A (e_i) pero no en A (e_i) ∩ R (e_i), es decir, A (e_i) ≠ A (e_i) ∩ R (e_i).

El análisis MICMAC se basa en el principio de la multiplicación de matrices. El modelo es un método propuesto por Duperrin y Godet para analizar la relación y la interacción entre los factores del sistema y se utiliza habitualmente para identificar los factores con gran impulso y gran dependencia en el sistema. Los elementos del sistema pueden dividirse en los cuatro cuadrantes siguientes: variables autónomas (a), variables dependientes (b), variables de enlace (c) y variables impulsoras (d). Como se muestra en la Figura 2, el poder impulsor y el poder de dependencia de las variables autónomas son débiles. El poder de dependencia de las variables dependientes es fuerte, pero el poder impulsor es débil. Tanto el poder impulsor como el poder de dependencia de las variables de vinculación son fuertes. El poder impulsor de las variables impulsoras es fuerte, pero el poder de dependencia es débil.

La suma de las filas y columnas de la matriz alcanzable B se denota como la fuerza impulsora P, y la dependencia J. P indica el grado de influencia de este factor sobre otros factores. J indica en qué medida este factor se ve afectado por otros factores. Calculando los valores P y J de cada elemento del sistema, este se divide en cuatro cuadrantes diferentes, como muestra la Figura 2.

Figure 0

Basándonos en los análisis ISM y MICMAC, obtuvimos una estructura jerárquica (Figura 1) de las autoevaluaciones de los alumnos y la clasificación de los factores influyentes (Figura 3). En la parte siguiente, abordaremos los detalles del análisis anterior.

A través del análisis de diferentes niveles de factores, este estudio estableció un paradigma integrado de autoevaluación del estudiante en MOOC, como se muestra en la Figura 4. En la figura, el nodo del elemento (○), con diferentes colores y alturas, representa distintos niveles. La siguiente sección profundizará en la Figura 6, empezando por L1 (el factor de superficie).

En primer lugar, para el aprendizaje MOOC en China, la autoevaluación del estudiante debe llevarse a cabo a lo largo de todo el proceso de aprendizaje MOOC. Los estudiantes deben llevar a cabo una autoevaluación de sus progresos y logros de aprendizaje antes, durante y después de los MOOC. Mientras tanto, lo mejor es adoptar distintos métodos de evaluación en distintos periodos de aprendizaje.

En segundo lugar, los estudiantes deben ser los principales ejecutores de la evaluación. Sin embargo, ser un excelente autoevaluador no es algo que pueda lograrse aceptando un gran número de actividades de evaluación impartidas por los profesores. En su lugar, los estudiantes deben realizar un gran número de prácticas de autoevaluación y aprender haciéndolo. Por lo tanto, la evaluación del profesor dará paso gradualmente a la autoevaluación y a la evaluación mutua entre compañeros, y la situación dominada por la evaluación del profesor se transformará en la autoevaluación de los alumnos como base y guía. Las universidades deberían cambiar la tendencia de evaluación del modelo tradicional de terraza al modelo de apoyo al aprendizaje permanente. Se trata de despertar la autoconciencia y la iniciativa del alumno para que pase de ser un objeto de evaluación pasivo a un sujeto de evaluación consciente y activo. Los profesores deben concienciar a los alumnos de su responsabilidad de supervisar, evaluar y regular su aprendizaje.

En tercer lugar, la validez de una evaluación depende de su fiabilidad. Para garantizar la fiabilidad de la autoevaluación de los estudiantes en los MOOC, es necesario mejorar las habilidades de autoevaluación de los estudiantes y establecer cursos de evaluación para mejorar la calidad de la evaluación. Partiendo de la premisa de garantizar la eficacia de la autoevaluación, las universidades deberían hacer que la autoevaluación de los estudiantes se convirtiera en la base de la evaluación de los MOOC. Según la situación actual de la evaluación MOOC en China, los profesores deben ser diligentes a la hora de «hacer concesiones», transfiriendo los derechos de evaluación a los estudiantes y convirtiendo las actividades de evaluación en un proceso de participación activa, autorreflexión, autoeducación y autodesarrollo de los estudiantes. Después de aclarar la importancia de la autoevaluación de los estudiantes en los MOOC, se determina la motivación de la autoevaluación de los estudiantes para optimizar el aprendizaje de los MOOC. A continuación, se determina el objeto de autoevaluación (proceso de aprendizaje MOOC) en MOOC.

Por último, debemos centrarnos en los factores profundos (la adquisición de conocimientos y destrezas) de la autoevaluación de los estudiantes. En primer lugar, el contenido de la autoevaluación del alumno puede dividirse en «conocimientos y habilidades» y «proceso cognitivo». Por lo tanto, lo que el evaluador debe valorar en primer lugar es la adquisición de conocimientos y habilidades en el MOOC. Este proceso de evaluación es un proceso cognitivo y necesitamos utilizar diferentes métodos de evaluación. Basándose en las características de MOOC, es más adecuado para el método de evaluación con las características de criterios de evaluación constructivos y procesos de evaluación dinámicos. Concretamente, si el contenido de la evaluación es el conocimiento y las destrezas, se pueden adoptar métodos de autoevaluación con un medio de reparto de poder, criterios de evaluación claros y énfasis en las calificaciones o puntuaciones, como los siguientes tipos; autoevaluación, norma sólida y rúbricas de autoevaluación. Si el contenido de la evaluación es un proceso cognitivo, la autoevaluación con interés práctico, la autoevaluación con interés emancipador y la autoevaluación con el tutor integrado y la retroalimentación de los compañeros son más adecuadas. A través de la comunicación y el debate con profesores o compañeros, los estudiantes forman su comprensión personalizada de las tareas de evaluación y construyen sus criterios de evaluación. Los estudiantes no solo construyen una comprensión individualizada y criterios de evaluación individuales, sino que también reflexionan sobre el propio proceso de construcción y llevan a cabo actividades de autoevaluación de forma independiente.

Teniendo en cuenta el debate anterior, proponemos varias sugerencias para la autoevaluación del aprendizaje MOOC por parte de los estudiantes. En primer lugar, considere la autoevaluación de los estudiantes en los MOOC como un método de evaluación formativa. La autoevaluación del alumno no es solo una actividad de evaluación después de una etapa de aprendizaje, es un tipo de evaluación formativa, que recorre todo el proceso de aprendizaje del alumno. Por lo tanto, la autoevaluación del alumno es una forma de «evaluación formativa». En segundo lugar, las universidades deberían concienciar a los estudiantes sobre la autoevaluación a través de la publicidad y concienciar a los alumnos de su responsabilidad de supervisar, evaluar y regular su aprendizaje. En tercer lugar, podríamos crear cursos de evaluación para mejorar la calidad de la evaluación de los estudiantes. Por ejemplo, se pueden crear microconferencias en vídeo para que los alumnos adquieran conocimientos y destrezas de evaluación en clase y luego, elegir los métodos de evaluación para aumentar la fiabilidad de los resultados. Por último, las instituciones escolares deberían optimizar el entorno de autoevaluación de los alumnos con la ayuda de la tecnología. Con la profunda integración de las tecnologías de la información y la educación y la enseñanza, la naturaleza en red de las actividades de evaluación es cada vez más evidente. Todos los tipos de sistemas de evaluación en red proporcionan a los estudiantes datos de aprendizaje personalizados, herramientas de evaluación diversificadas y plataformas de comunicación, que superan las limitaciones y dificultades de la evaluación tradicional en la recopilación de datos y pueden optimizar el entorno de autoevaluación de los estudiantes.

En resumen, un buen aprendiz permanente debe ser un buen autoevaluador. Los profesores pueden seguir asumiendo la responsabilidad de evaluar el aprendizaje de los alumnos, pero, a largo plazo, los estudiantes dependerán de la evaluación y los comentarios de los profesores, y les resultará difícil formarse en una autoevaluación de calidad. Así, a los estudiantes les resultaría difícil juzgar su crecimiento tras dejar la escuela e incluso perderían oportunidades de aprendizaje. Por lo tanto, cultivar la «calidad de la evaluación» de los estudiantes mediante el proceso de autoevaluación no solo ayuda a optimizar el aprendizaje actual de los estudiantes, sino que también establece una buena base para el aprendizaje y el desarrollo permanente de los estudiantes. Además, la autoevaluación de los estudiantes debe integrar métodos cualitativos y métodos cuantitativos. Por ejemplo, para la evaluación de conocimientos y competencias, pueden utilizarse métodos cuantitativos, como las rúbricas de autoevaluación. Para la evaluación del proceso cognitivo, pueden utilizarse métodos cualitativos, como el guion de autoevaluación, el informe de autoevaluación y el registro reflexivo. Entre ellos, el aprendizaje reflexivo no solo desarrolla el comportamiento de aprendizaje de los estudiantes, sino que también les permite tener capacidades más integrales en el proceso de aprendizaje, lo que les convierte en personas más completas (Cristianti et al., 2020).

En el caso actual de los MOOC en China, el enfoque en la autoevaluación de los estudiantes no es suficiente (Li, 2017). Es necesario romper la tendencia unilateral de que «la autoevaluación del alumno solo significa que los alumnos se califican a sí mismos». Tenemos que formarnos una idea holística y global de la autoevaluación. Además de China, según la revisión de la literatura existente, también hay poca investigación centrada en la autoevaluación de los estudiantes en MOOC en otros países. Para el aprendizaje en línea, como los MOOC, la autoevaluación debería ser el principal método de evaluación debido a las características del autoestudio en la enseñanza en línea. Por lo tanto, lo primero es cambiar la actitud de profesores y alumnos hacia la autoevaluación y formar una comprensión global de la autoevaluación, y luego, ordenar el camino lógico de la autoevaluación del estudiante y construir un paradigma integrado de autoevaluación del estudiante en MOOC. Esta es la contribución de este estudio. En el futuro, nos centraremos en cómo optimizar el efecto de aprendizaje de los MOOC mediante la autoevaluación de los estudiantes. (1)