En los últimos años, en la educación formal, se ha replanteado a la evaluación como un proceso que puede fomentar la comprensión en los estudiantes, por tanto sus funciones se modifican para enfatizar en el diagnóstico, diálogo, comprensión y retroalimentación (Topping, 2009). Es así que la evaluación entre pares se considera un proceso a través del cual individuos evalúan a sus pares, promoviendo un pensamiento crítico y reflexivo para emitir un valor, así como una metacognición respecto a su propia ejecución. Para valorar la validez de este proceso se ha buscado comparar los puntajes que emiten los estudiantes a los trabajos de sus compañeros.
Por tanto, el objetivo del presente trabajo fue identificar el nivel de concordancia de las evaluaciones que los estudiantes de un grupo de licenciatura en línea emitieron a los trabajos escritos de sus pares. Para ello se diseñó una experiencia de aprendizaje donde los estudiantes, primero desarrollaron un ensayo de manera colaborativa, y posteriormente, cada estudiante evaluó dos ensayos que les fueron asignados de otros compañeros, en este sentido cada estudiante recibió dos evaluaciones a su trabajo. Para realizar dicha evaluación, se les proporcionó una rúbrica conformada por seis rubros que fueron considerados para el análisis. Las evaluaciones se llevaron a cabo en la herramienta taller de la plataforma Moodle, por lo que los resultados fueron recabados de los registros que esta herramienta ofrece.
En la experiencia de aprendizaje participaron 18 estudiantes, por tanto hubo un total de 36 evaluaciones. El análisis de los datos recabados fueron los puntajes emitidos en cada elemento de la rúbrica, se utilizó el estadístico Kappa de Cohen para evaluar la concordancia entre los estudiantes que evaluaron un mismo ensayo.
Los resultados obtenidos muestran valores menores a 0.50, lo que implica que por alguna razón los estudiantes no pueden considerarse como jueces confiables, incluso se detectaron cinco casos en los que no se logró calcular el índice Kappa, puesto que se detectó que los estudiantes no lograron discriminar cada uno de los rubros a evaluar.
De lo anterior, algunas de las conclusiones refieren a la relevancia de entrenar a los estudiantes a emitir juicios de valor rigurosos que refieran a la ejecución de sus pares. Asimismo los resultados obtenidos llevan a contemplar la evaluación de las retroalimentaciones que los estudiantes emitieron a los trabajos de sus compañeros, posiblemente puedan revelar evidencia de una reflexión por parte de los evaluadores hacia el escrito.
Palabras clave: evaluación entre pares, ensayos, kappa de Cohen.