VAEP-RITA Vol. 3, Núm. 4, Dic. 2015
199
Nuevas Posibilidades de Aprendizaje por Proyectos Colaborativos Masivos mediante Learning Analytics: un Análisis de Caso Jordi Sancho
Title—New learning possibilities in massive collaborative projects with learning analytics: a case study. Abstract—One way to improve the education of our students is to promote the creation of massive collaborative projects. These projects, also seen as learning products, would also help to better scale our learning experiences (Massive Open Online Courses-MOOCs) and generate collective value from the hours and cognitive efforts invested doing academic work. But the complexities to assess those projects are challenging. This requires to develop new monitoring and feedback systems for these kind of projects. This article presents an exploratory analysis for applying learning analytics methodologies based on social networks analysis, factorial analysis, k-means clustering and “naïve” Bayes algorithms. Index Terms—Active learning, Big data, collaborative projects, learning analytics, MOOC.
I. INTRODUCCIÓN
U
NO de los principales retos del campo de learning analytics es contribuir a mejorar el aprendizaje de manera significativa, no marginal. Ello probablemente signifique centrarse en el desarrollo de prácticas formativas necesarias pero que no serían posibles de otro modo. En este sentido, el desarrollo colaborativo masivo de productos de aprendizaje sea quizás una de estas prácticas a las que vale la pena dedicar un esfuerzo. Esto es lo que se propone a continuación. El problema de partida de este artículo es que las actividades diseñadas para que los estudiantes aprendan y demuestren las competencias de aplicación de conocimientos son habitualmente poco consistentes y fragmentadas. Nuestro sistema educativo, habitualmente, desaprovecha el esfuerzo cognitivo de los estudiantes haciendo masivamente pequeñas actividades individuales en paralelo. Cambiar el enfoque hacia la elaboración colaborativa de grandes proyectos complejos, podría mejorar la motivación, el aprendizaje y la creación de productos útiles resultado de la inversión social educativa. Tomando esa idea como punto de partida, este artículo Jordi Sancho es profesor del Departamento de Trabajo Social y Servicios Sociales de la Facultad de Educación. Universitat de Barcelona. Grupo de investigación: Laboratori de Mitjans Interactius (LMI). Email:
[email protected]. PasseigValld‟Hebron 171, Llevant 3ª planta, 356. 08035 Barcelona.
desarrolla, prueba e integra diversas técnicas y metodologías (análisis de redes sociales, análisis factorial, clustering por k-means y uso de algoritmos predictivos), que harían factible el seguimiento y valoración formativa de los proyectos colaborativos a gran escala en la educación universitaria. Hace ya tiempo que sabemos que hay un aprendizaje profesional, ligado a la práctica, que posibilita una integración de conocimientos que son difíciles de transmitir oralmente. Para ello, diversos autores han propuesto aprender de los sistemas de aprendizaje que son tradicionales en ámbitos tan diversos como la psicoterapia, arquitectura, la música, el trabajo social, o los artesanos genéricamente [1-4], se trata de pensar mientras se solucionan problemas trabajando y después compartir y discutir lo aprendido. Es más novedosa la constatación cuantitativa de que incluso las disciplinas llamadas STEM (acrónimo inglés para englobar ciencia, tecnología, ingeniería y matemáticas) muestran una mejora significativa en el rendimiento académico y en la reducción de los suspensos cuando se utilizan técnicas de aprendizaje activo (básicamente diseños constructivistas de simulación de problemas reales para resolver y trabajo con proyectos, junto con una evaluación formativa) [5-7]. El trabajo en base a proyectos mejora también la motivación de los estudiantes, especialmente a quienes tienen menor capacidad de autorregulación en el aprendizaje [8]. A pesar de las evidencias, estos nuevos métodos de aprendizaje parecen tener problemas para asentarse en el sistema educativo universitario en España. A partir de la última reforma, y bajo el paraguas de los llamados Planes de Bolonia, las universidades se han llenado de sistemas de evaluación continua que exigen a los estudiantes que dediquen una gran cantidad de tiempo a realizar pequeñas actividades, normalmente individuales o en pequeños grupos, muy fragmentadas y con un nivel bajo de complejidad (que es independiente del nivel de dificultad) para generar aprendizaje o simplemente para obtener “evidencias” de su existencia. El problema es que dichas actividades, con un corto y uniforme recorrido, en el que todos empiezan en el mismo punto y llegan al mismo lugar, están habitualmente alejadas de la complejidad real muy delimitadas y por ello tampoco fomentan ni una motivación intrínseca [9,10] ni el aprendizaje significativo que sería deseable. En este sentido, se añaden dos de las principales dificultades que plantea la multiplicación de estos tipos de
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
200
VAEP-RITA Vol. 3, Núm. 4, Dic. 2015
actividades académicas: la limitación de escala y el desperdicio social que representan. La limitación en la escala de aplicación se debe a que algunas de las actividades de aprendizaje más avanzadas (trabajos en grupo, trabajos en base a problemas y proyectos, etc.) habitualmente están diseñadas para clases con decenas de estudiantes, y grupos pequeños de trabajo. Esta limitación no era un problema anteriormente, pero ahora sí lo es. Hoy en día podemos contar con MOOCs (Massive Open Online Courses) de 60,000 estudiantes, y este tipo de actividades no son escalables, lo que acaba reduciendo las actividades de valoración y seguimiento a pruebas de tipo test, revisión por pares o similares, que ofrecen una evaluación más aditiva que formativa. Con tasas de “aprobados” del 2% y abandonos de más del 90% los MOOCs son menos masivos de lo que parecen a primera vista. Levine[11 ] hace públicos estos interesantes números de un MOOC de análisis de redes sociales de los que partiendo de 60,000 estudiantes inscritos, tan sólo el 11% realizaba al menos una actividad, el 2% conseguía el certificado normal y el 0,17% conseguía el “certificado con distinción”. La dificultad para realizar actividades motivadoras y con seguimientos escalables podría ser una de las razones de ese fracaso [12]. Por otra parte es hiriente que habitualmente la inversión cognitiva realizada por los estudiantes acabe en un desperdicio social de esa producción. El hecho de tener a decenas o cientos de personas haciendo un trabajo intelectual individual o en pequeño grupo que luego se queda en el cajón de un profesor, significa un desperdicio de esfuerzos y recursos sociales. ¿No podría aplicarse ese esfuerzo cognitivo para crear contenidos de valor o resolver problemas reales? Elena Cano [13] (pág. 43) señalaba una posible solución al problema: “La tarea pequeña y fragmentada no facilita la autonomía. Posiblemente pocas tareas y grandes, como elaborar un proyecto, resolver un caso complejo o diseñar algo, facilitan la autonomía, pero han de tener elementos de regulación y feedback (controlando parcialmente su éxito o no y progresando bajo una visión global).” Este artículo sigue esa línea, con una propuesta de potenciar la creación de proyectos colaborativos a gran escala para mejorar la formación de nuestros estudiantes. Estos proyectos, tratados como productos de aprendizaje (la creación de un objeto que resuelve un problema y es el resultado de un proceso de aprendizaje), también ayudarían a escalar mejor nuestras experiencias de aprendizaje masivo (MOOCs) y podrían generar valor colectivo a partir de las horas y esfuerzos cognitivos invertidos realizando trabajos académicos. Pero las complejidades para asesorar este tipo de proyectos son un gran desafío. Es necesario desarrollar nuevos sistemas de seguimiento, feedback y valoración aplicables en tiempo real a esos procesos colaborativos masivos. II. PROYECTOS COLABORATIVOS A GRAN ESCALA Adaptando la idea de trabajar en base a proyectos al contexto actual que algunos identifican como de colaboración masiva [14,15] se propone diseñar proyectos colaborativos a gran escala desarrollados en base a una visión constructivista del aprendizaje. Sus características son
motivadoras para el estudiante y le permitirían contextualizar mejor las acciones y valorar las aportaciones realizadas, facilitando un mejor aprendizaje autoregulado[8]. La característica clave es el feedback, tanto del funcionamiento global del proyecto como del trabajo individual. Sobre esta retroalimentación, Jonassen [16,17]establece los principios básicos que deben guiar las valoraciones de los procesos de aprendizaje constructivista: 1. Empezar la evaluación sin ideas preconcebidas. 2. Utilizar tareas auténticas, con diferentes niveles de complejidad y de implicación de los estudiantes. 3. Basarse en la construcción de conocimiento en lugar de la reproducción del mismo (incluyendo la argumentación y defensa de una posición particular) 4. Pensar en términos de proceso en lugar de producto acabado. 5. Realizar contextualizaciones ricas y complejas, ya que los estudiantes tan solo pueden interpretar correctamente la información si esta se da en contextos precisos y propios. Por todo ello, para conseguir un sistema que hiciese posible trabajar en base a proyectos a gran escala con una base constructivista, serían necesarios tres elementos clave. El primero sería disponer de una base tecnológica para construir proyectos colaborativos de tipo constructivista aplicables en diferentes contextos educativos. El segundo consistiría en desarrollar metodologías de valoración y seguimiento que (1) utilicen la escala como una ventaja y no como una limitación (es decir, que cuantos más estudiantes haya, más adecuado sea el sistema de feedback); y (2) capturen buena parte de la complejidad de este tipo de procesos. Finalmente, el tercer elemento del sistema debería ofrecer una automatización suficiente del análisis para permitir un feedback global e individual en tiempo real. El primer punto es quizás el más sencillo. Hay muchas bases tecnológicas posibles y factibles. Unas pueden ser más adecuadas que otras según los alumnos o según el proyecto colaborativo que se quiera llevar a cabo. De entre las diversas opciones posibles, una base factible y sencilla para estos proyectos colaborativos masivos son los “wikis”, por dos razones: 1. Son fáciles de utilizar y analizar. Además, pueden centralizar con facilidad información, discusión, enlaces y un histórico de cambios. Cualquier campus virtual o LMS (sistema de gestión de aprendizaje en inglés) dispone de un módulo de wikis y si no, hay motores fáciles de instalar (MediaWiki). 2. Tienen una base constructivista. A parte de ser herramientas probadas para aumentar una colaboración efectiva a gran escala [18], diferentes autores [1922]señalan una relación intrínseca entre los wikis y los paradigmas constructivistas y colaborativos. Así, Su y Beaumont [22], pág. 417 explican que: “Los wikis representan una tecnología con potencialidades para ofrecer un marco que engloba los principios del constructivismo social de Vigotsky [23] ya que los grupos de estudiantes pueden crear, revisar e insertar comentarios en un mismo artículo de una manera sencilla, donde el resultado es inmediatamente obvio (y
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
SANCHO: NUEVAS POSIBILIDADES DE APRENDIZAJE POR PROYECTOS COLABORATIVOS MASIVOS... no escondido en el hilo de discusión de un fórum o un blog).” III. EL PROYECTO: NADA MEJOR QUE UN BUEN FRACASO
201
De estas reflexiones se derivaron los objetivos. Nos preguntamos: ¿Qué información sería necesaria para poder realizar el seguimiento de un proyecto colaborativo de creación de contenidos a gran escala?
PARA SABER QUÉ SOLUCIONES BUSCAR
El proyecto que constituye la base de este análisis surge de un gran fracaso, y de lo mucho que se aprende de ellos. En la universidad pusimos en marcha un proceso de construcción colaborativa que nos desbordó completamente. Morimos de éxito, y así se evidenció la necesidad de buscar nuevas metodologías de análisis basadas en datos a gran escala. Este artículo rescata los datos del proceso de elaboración de dicho proyecto para construir un andamiaje analítico que hubiese permitido su análisis en tiempo (casi) real. En 2004, y con el objetivo de facilitar el trabajo multidisciplinar, un grupo de 9 profesores de 10 asignaturas de los estudios de Trabajo Social de la Universidad de Barcelona, iniciamos un proyecto (convocatoria Redice04 de la Universidad de Barcelona) con un objetivo engañosamente sencillo: conocer de qué hablábamos en clase cada profesor. Esa era la condición previa para poder trabajar la interdisciplinariedad en nuestras asignaturas. Creímos que la mejor manera para conseguir esa información era preguntárselo a nuestros estudiantes. Para ello iniciamos un wiki en el que pedíamos a nuestros estudiantes algo muy simple: identificar y desarrollar conjuntamente los temas principales de cada asignatura, sin más limitaciones. Este proceso se valoraría en un 25% de su nota. La idea era que salíamos ganando a tres bandas. Los profesores obteníamos la información que buscábamos (y de manera más interesante de lo previsto, ya que la percepción de los estudiantes de lo que era importante o no en cada asignatura podía ser diferente a la nuestra), los estudiantes obtenían unos “apuntes colaborativos”, y finalmente, se promovía el aprendizaje de competencias técnicas como la búsqueda de información, argumentación, análisis de textos y otras. El resultado [24-25] fue excesivamente positivo, la escala nos desbordó. Con la participación de 900 estudiantes se desarrollaron 1.650 conceptos, en un proceso de 14.455 revisiones. El proyecto se hizo tan grande, dinámico y cambiante, que hacía imposible realizar un seguimiento adecuado del mismo, por muchas horas que le dedicáramos los profesores. Y este fracaso nos llevó al aprendizaje a diferentes niveles. Aprendimos la facilidad con la que los estudiantes podían motivarse para trabajar en grupo en un proyecto colaborativo. Aprendimos la facilidad con la que técnicamente se podía montar un proyecto de este tipo a través de una plataforma de tipo wiki. Y aprendimos también la dificultad para realizar un seguimiento de un proyecto de este tipo, cuando tiene éxito. A pesar de que éramos un grupo de profesores con experiencia docente y ganas de invertir horas en el proyecto, nuestras técnicas no servían en este nuevo contexto. Y sin guía, ni por parte de los profesores, ni por parte de los estudiantes los procesos autónomos tampoco funcionaban correctamente. El problema principal estaba claro: era necesario aprender a guiar una estampida de elefantes.
IV. OBJETIVOS: ¿QUÉ INDICACIONES SE NECESITAN PARA GUIAR UNA ESTAMPIDA DE ELEFANTES? Las tecnologías actuales hacen muy fácil una colaboración masiva en la creación de contenidos escritos, pero esa misma facilidad también puede comprometer la calidad de los mismos. El proyecto de partida presentado es un buen ejemplo de ello. Por ejemplo, los estudiantes mostraban reticencias a “borrar” o “editar” contenido de otros, con lo que al traspasarse un determinado umbral de aportaciones, se disparaban las repeticiones y se perdía el sentido de unidad de los textos. Esta experiencia mostraba que se necesitaba información a nivel macro sobre el desarrollo del proyecto, y al mismo tiempo información a nivel micro o individual sobre cada estudiante y sobre cada uno de los conceptos desarrollados. Concretamente, se consideró la necesidad de automatizar al máximo la consecución de la siguiente información, necesidad aquí expresada en forma de objetivos: A. A nivel global de proyecto - Objetivo 1:Clasificar colaboradores y contenidos según su rol e importancia en el proceso, para conocer a los agentes del proceso colaborativo. - Objetivo 2: Clasificar contenidos creados (conceptos) según su temática y editores, para conocer en qué temas se están desarrollando los contenidos y en qué líneas trabajan los distintos estudiantes. - Objetivo 3: Clasificar colaboradores (estudiantes editores) según el tipo de contribución y rol en el proceso colaborativo, para poder valorar el tipo de aportaciones que realiza cada estudiante. - Objetivo 4: Clasificar los contenidos según su calidad (en base a los criterios establecidos por cada profesor), para poder identificar qué contenidos se han desarrollado siguiendo las pautas establecidas por el profesor. B. A nivel individual - Objetivo 5: Asignar y visualizar los ítems anteriores para cada estudiante y para cada contenido (concepto), para poder ofrecer un feedback rápido e individualizado para cada estudiante. V. METODOLOGÍA Empezaré revisando análisis comparables en la bibliografía de los que emerge la posibilidad de utilizar el análisis de redes sociales. Posteriormente explicaré los tres principios sobre los que he construido la aproximación metodológica en base a los objetivos planteados: (1) analizar los productos de aprendizaje, (2) integrar la visión analítica y la pedagógica, y (3) la necesidad de combinar técnicas de análisis diversas. Finalmente, se describe la recogida inicial de datos. A. Análisis existentes La literatura muestra diferentes opciones para el análisis de wikis a gran escala. Debido a su grado de apertura y
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
202
VAEP-RITA Vol. 3, Núm. 4, Dic. 2015
dimensión, muchos de los desarrollos están referidos a la Wikipedia. Los primeros estudios utilizaron medidas simples de variables clave, pero rápidamente emergió el uso del análisis de redes sociales cada vez más complejas. Por una parte, los estudios con metodologías tradicionales se limitan a correlacionar algunas variables significativas para explicar el éxito o la calidad de dichos proyectos. Roth et al. (2008) [26] analizan 360 wikis pero se limitan a utilizar factores relacionados con la viabilidad de los mismos (número de usuarios, tamaño de los contenidos, ediciones, etc.). Felipe Ortega (2009) [27] por su parte, analiza los 10 principales proyectos de la Wikipedia a través de la comparación del número de ediciones y editores registrados, y fue de los primeros en mostrar la ralentización de su crecimiento. Kittury Kraut (2008) [28] analizan la calidad en la Wikipedia a través de la correlación de diferentes variables con los distintos niveles de calidad establecidos por la propia Wikipedia. Concluyen que más que el número de editores, lo decisivo son las medidas de coordinación entre ellos (algunas implícitas y otras explícitas). Estos análisis destacan por su facilidad de implementación pero también por lo reducido de su enfoque y conclusiones. No son útiles para revisar un proceso colaborativo de base constructivista, sin valoraciones prefijadas a priori, como se especificó anteriormente. Por otra parte están los análisis con metodologías más avanzadas y ricas en detalles. En sus inicios, las redes sociales se aplicaron de manera limitada. Así, Korfiatiset al. (2006) [29] utilizaron el análisis de redes para páginas individuales para comparar las redes de editores. Hollowayet al. (2007) [30] dibujaron un mapa para visualizar las relaciones entre artículos de la Wikipedia según agrupaciones de categorías, y Klammay Haasler (2008) [31] introdujeron una visión dinámica para mostrar la evolución de un artículo en el tiempo. Posteriormente, otros desarrollos más avanzados partieron del mismo análisis de redes para complementarlo analizando patrones de colaboración, clasificando a los editores según las acciones de edición realizadas [32] y correlacionando estos patrones de edición con las valoraciones existentes en la Wikipedia. Welser et al (2011) [33] por último, utilizando datos del 2006, analizan y comparan las redes sociales de los cuatro roles sociales básicos de editores (los editores técnicos, los antivandálicos, los expertos sustantivos y los gestores de red). Estos ejemplos muestran la capacidad potencial de uso de partida del análisis de redes sociales como base para estudiar el proceso colaborativo y combinarlo posteriormente con agrupaciones de editores y correlaciones con otras medidas significativas. B. Principios sobre los que construir una aproximación desde las analíticas de aprendizaje Este apartado fundamenta que una mirada adecuada desde las analíticas de aprendizaje para el análisis de los proyectos colaborativos masivos debería cumplir tres principios: 1. Analizar los productos de aprendizaje. 2. Integrar la visión analítica y la pedagógica. 3. Combinar tipos de análisis diversos.
1) La importancia de analizar los productos de aprendizaje. Deberemos analizar el proceso de construcción de un producto colaborativo conjunto, que es distinto de las medidas de aprendizaje comúnmente utilizadas. Gašević, Dawson y Siemens (2015) [34] indican que el énfasis primario en el campo del learning analytics ha sido en el uso de puntuaciones de test “o bien en crudas aproximaciones como las notas del curso, que no miden con exactitud los productos académicos sino el rendimiento académico en un momento dado del tiempo” (pág. 69). Los autores señalan que debe corregirse ese fallo, pero pasar a analizar los productos de aprendizaje hace necesario el desarrollo de nuevas metodologías: “Para analizar estos productos de aprendizaje textuales, deberíamos escalar los métodos cualitativos de investigación. El uso de métodos de minería de textos y de procesamiento natural del lenguaje para crear análisis de contenido y discurso es una dirección de investigación críticamente importante.” (pág. 69). Estos productos de aprendizaje, por ejemplo la construcción de tipo wiki propuesta, requieren el trabajo en base a información textual y poco estructurada, que es la base del estudio que aquí se presenta. El objetivo es ambicioso y requiere una estrecha colaboración entre la parte analítica y la pedagógica. 2) La importancia de integrar la visión analítica y la pedagógica. Los desarrollos en el campo de Learning Analytics (LA) muestran una gran tensión entre la minería de datos (parte analítica) y la pedagogía (parte de aprendizaje). Este defecto podría ser consecuencia de la división que Siemens (2014, pág. 3-4) [35] señalaba entre los dos grupos actuales en este campo: “Habitualmente, los científicos informáticos, expertos en machine learning, estadísticos y matemáticos tienen la capacidad técnica de dar sentido a grandes conjuntos de datos, pero les falta la base en educación, teorías de aprendizaje y literatura al respecto. Por el contrario, los científicos del aprendizaje, psicólogos y sociólogos tienen las lentes teóricas para evaluar las estructuras de poder y los ámbitos del aprendizaje, pero les falta la base en datos emergentes y métodos analíticos”. Esta tensión es quizás inevitable en el proceso de configuración de una nueva disciplina, pero tras la participación en el LASI (Learning Analytics Summer Institute) de Bilbao de 2015[36], me atrevería a decir que el bando de la ingeniería está ganando con diferencia, al menos en España. Esta situación, tan similar a la división que magistralmente explicaba C. P. Snow en el año 1959[37] entre dos culturas, la de científicos y la de escritores, comparables en inteligencia pero que ni se comprenden ni se comunican entre ellos, no tiene solución fácil, pero el desequilibrio anteriormente señalado puede tener consecuencias negativas. Por una parte, el peligro de que esta nueva disciplina acabe ofreciendo soluciones sin tener claro los problemas a los que se dirigen. Y por otra, el riesgo de inacción que conlleva comprender los problemas sin poder desarrollar soluciones.
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
SANCHO: NUEVAS POSIBILIDADES DE APRENDIZAJE POR PROYECTOS COLABORATIVOS MASIVOS... De hecho, si el ámbito de learning analytics se limita a analizar las montañas de datos generadas en la interacción de los usuarios con sus actividades online habituales, sus aportaciones serán probablemente seguras pero limitadas. Y al mismo tiempo, sin saber moverse entre en aguas analíticas, quizás perdamos oportunidades de innovación decisivas. En cambio, al integrar esas dos almas, las nuevas analíticas de aprendizajes pueden permitir la aplicación de nuevas experiencias pedagógicas. Aquí es donde el learning analytics puede demostrar su mayor valor, pero para ello se hace necesario enriquecer el trabajo analítico, como se mostrará en la sección siguiente. 3) La importancia de combinar tipos de análisis diversos El análisis de un proyecto colaborativo masivo desde la perspectiva educativa requiere una visión multidimensional de un proceso muy complejo, y por ello se hace necesaria la aplicación de técnicas diversas sobre un mismo objeto de análisis. La colaboración implica un diálogo e intercambio de habilidades entre estudiantes con diferentes intereses y capacidades para conseguir un objetivo común. Ello significa valorar una multiplicidad de interacciones a distintos niveles (entre estudiantes, entre aportaciones, entre contenidos) por separado y mezclados (estudiantes – contenidos, aportaciones-estudiantes, etc.), así como clasificar actores (clasificar los estudiantes según el tipo de aportaciones, los contenidos según su proceso o su calidad, etc.). Este artículo presenta los resultados exploratorios del desarrollo y aplicación de una muestra de estas técnicas y metodologías de learning analytics a partir de un caso real de construcción colaborativa masiva. Se destacan: - El análisis de redes sociales (objetivo 1) que permitirá estudiar las relaciones entre actores (sean estos estudiantes, aportaciones de los mismos o contenidos generados), aplicando medidas cuantitativas de dichas relaciones (importancia, función en el proceso colaborativo, etc.). - El análisis factorial (objetivo 2) para realizar agrupaciones de contenidos en bloques temáticos y para ver el peso de cada editor en el desarrollo de cada uno de estos bloques. - El clustering por K-means (objetivo 3) utilizado para realizar agrupaciones de editores según el tipo de aportaciones realizadas. - El uso de algoritmos de aprendizaje supervisado de tipo “naive” Bayes (Objetivo 4) para predecir, en función del texto, si los conceptos están equilibrados o no según los requisitos preestablecidos referidos al tipo de aportaciones que los configuran. C. Recogida inicial de datos Este estudio realiza una analítica forense a partir de los datos del proyecto anteriormente citado. Es decir, analiza, aprende y construye la propuesta, a partir de los datos recogidos de un proyecto ya acabado en el momento de realizar el análisis. Para desarrollar esta aproximación experimental al análisis, se redujo el alcance al wiki de una sola asignatura (Elementos de economía y empresa) de cara a facilitar la gestión de la prueba de concepto. En total sumaban 148 conceptos (páginas web), creados en un
203
proceso de 2,881 ediciones por parte de 308 estudianteseditores activos. Para obtener la información de partida escribí un pequeño script en Python para realizar web scraping mediante las librerías de BeautifulSoup de Python. Esta es una técnica automatizada mediante software para extraer información de la web, sin necesidad de acceso a una base de datos, sino simulando la navegación web y descargando el texto desestructurado de los sitios. Ello fue necesario ya que la plataforma wiki utilizada no tenía base de datos, por lo que no podía recuperarse la información de otro modo. Dicha plataforma era un desarrollo propio realizado por Josep Sau, de tecnologías de la UB, a través del lenguaje AWK/GAWK, durante los años 2004-2006. De esta manera se descargaron cada una de las aportaciones para cada concepto por cada estudiante, con las marcas de tiempo y en contextualización con el contenido del wiki (gracias a la función de comparación del propio wiki). Las información almacenada fue la siguiente: - Marca de tiempo. - Autor de la edición. - Concepto editado (nombre de la página). - Versión de la edición (en número). - Aportación concreta (texto). - Contexto de la aportación (texto total y contiguo a la aportación). VI. ANÁLISIS Y RESULTADOS Partiendo de los cinco objetivos planteados anteriormente, se adaptaron diferentes técnicas para dar respuesta a las cuestiones anteriormente planteada. A. Clasificación de los colaboradores y contenidos según su rol en el proceso colaborativo (objetivo 1) Para realizar esta acción se utilizó la metodología de análisis de redes sociales. Las redes sociales pueden definirse simplemente como un conjunto de nodos unidos por uno o más tipos de relación [38]. Cabe destacar que esta metodología tiene una importante historia de aplicación en el campo de la educación desde sus inicios [39-40]. Su uso muestra algunas ventajas evidentes: no tiene por qué hacerse una clasificación previa al análisis ni tampoco se parte de un análisis individualista. La unidad de análisis es la relación entre nodos (entendida de maneras diferentes) y el objetivo básico es descubrir patrones dentro de estas estructuras relacionales [41]. Estos nodos pueden ser personas, páginas web, organizaciones, palabras, países, etc.[42]. 1) Datos de partida Como se muestra en la Figura 1, del proceso de edición de un wiki se puede derivar fácilmente la creación de una serie de tablas de relaciones que permiten el análisis de redes sociales (Figura 2). A partir de una tabla bidimensional que relacione páginas con editores pueden traducirse dos tablas unidimensionales que relacionen editores con editores y páginas con páginas. 2) Filtro y refinamiento Si el objetivo de esta técnica es permitir que emerjan las estructuras de relaciones básicas del proceso colaborativo a partir del marasmo de datos, el principal problema de este tipo de análisis es la gestión de las relaciones espurias. Por ejemplo, si el Editor 1 hace una pequeña modificación a una
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
204
VAEP-RITA Vol. 3, Núm. 4, Dic. 2015
página que han editado otros 80 editores, ¿debemos reflejar que el Editor 1 se ha relacionado con los 80 restantes editores? Probablemente no. De hecho, un exceso de relaciones esconderá la estructura subyacente buscada. Por ello, debemos encontrar el equilibrio entre recoger la complejidad suficiente y conseguir una simplificación que permita dejar al descubierto las relaciones significativas entre nodos. Para ello, se normaliza la matriz de datos según distintos criterios, hasta hacer desaparecer las vinculaciones redundantes, como se muestra en la sección siguiente. 3) Planteamiento del análisis (minería y representación) La metodología de redes sociales se basa en el análisis de relaciones, y estas se establecieron a tres niveles: 1. Relaciones entre editores y contenidos editados. Corresponderían a las redes de afiliación, también conocidas como bimodales o bidimensionales[43] y cumplirían los requisitos de Skvoretzy Faust [44]. Ver el ejemplo de la Figura 3. 2. Relaciones entre editores. Por ejemplo en la Figura 4, donde se normaliza la matriz a partir de establecer la relación entre dos editores cuando estos coinciden en la edición de 4 o más conceptos. 3. Relaciones entre contenidos. Por ejemplo en la Figura 5, donde se normaliza la matriz a partir de establecerla relación entre dos conceptos cuando estos comparten 4 o más editores. Para el cálculo de medidas y representación se utilizó el software Ucinet, de Analytic Technologies. Aparte de la
Figura 1. Ejemplo de relación entre editores y contenidos en el proceso de desarrollo.
Figura 2. Ejemplo de matriz de afiliaciones derivada del proceso de elaboración de contenidos y las dos matrices unidimensionales derivadas de la anterior.
visualización, el análisis de estas redes normalizadas permite el cálculo de medidas específicas, como por ejemplo las medidas de centralidad, que permiten identificar a los editores más importantes en el proceso colaborativo según distintas acepciones de centralidad. Existen diversos significados posibles que tienen sentido en este contexto: la centralidad de grado (que indica que los nodos más importantes serán los que tengan más enlaces con otros nodos, sean estudiantes o conceptos), la medida de poder de Bonacich (que identifica los nodos con más poder como aquellos que tienen más vínculos con nodos que a su vez tienen pocos vínculos) y la medida de intermediación (que identifica a los editores que hacen de puente entre subredes) o como señalan Tsvetovaty Alexander (pág. 51) [45] asumen “que un individuo consigue poder si preside un cuello de botella comunicativo”. Iguales o parecidas medidas pueden utilizarse para conocer la importancia de los contenidos desarrollados. Por último, este tipo de análisis permite identificar las comunidades de contenidos y de editores mediante los distintos algoritmos disponibles generados a partir de las interacciones del proceso colaborativo. Como por ejemplo el algoritmo de GirvanNewman [46,47]que determina las comunidades como los grupos de nodos con una gran densidad de conexiones en su interior y una baja densidad con los nodos exteriores al grupo. 4) Principales resultados conseguidos: Una visión general cualitativa (Figura 3) muestra que el proyecto se divide en dos mitades asimétricas de editores (identificados como números y en color rojo en el original) que crean contenidos (identificados por el nombre en texto y en color azul en el original). Es decir, que un grupo pequeño de editores (parte inferior izquierda de la Figura 4) desarrolla unas áreas temáticas distintas al grupo mayoritario. Estas subredes de editores (llamadas también cliques) tienen su correspondencia en la red de contenidos (Figura 5), en este caso la subred menor de contenidos, como comparte un pequeño grupo de editores, está más cohesionada y probablemente sea más coherente. Finalmente se destaca la función de puente que realizan los editores que unen las dos subredes y se aprecian en la Figura 3. Estos, a pesar de no ser muy importantes por el número de conexiones que realizan (el tamaño de los nodos, que indican el valor de centralidad no es muy elevado), destacan por su función de conectar y dar sentido coherente en el proceso de escritura y desarrollo de los contenidos. El análisis a nivel individual permite cuantificar los resultados señalados en el párrafo anterior, permitiendo identificar a los editores con más poder de centralidad según los distintos significados. Por ejemplo, destacan 6 editores con una centralidad de grado mayor entre 54 y 31 enlaces. Otros con más poder según Bonacich (entre 56 y 96 en la medida normalizada) y un tercer grupo con mayor grado de intermediación (entre 605 y 1496). Como era previsible, los editores más importantes según las dos medidas no coincidían, excepto el caso del editor 10220556, con valores elevados en grado y Bonacich, y el 10858746, en los primeros puestos de grado e intermediación. Estos resultados pueden incorporarse a la representación gráfica de las redes de editores y conceptos a través de variables como el tamaño del nodo, color y forma.
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
SANCHO: NUEVAS POSIBILIDADES DE APRENDIZAJE POR PROYECTOS COLABORATIVOS MASIVOS...
205
87291875 11171823 11002460
11132251
Ec oTeleassist
10894365 12345678
11018361 10882130
11011954
10882034
10891160
10879245
10292273 25124536
11178790
10878162
Ec oD euteEc ol
11006111
10250962
10027065
10866236
11008955
10145575 11764384
10858750
10301093
10873855
10074433
10297910
96226922 10884436
10046691 11323432
Ec oL
11012676
10240355 11761606
10863296 11016025
10891952
10899033 10862806
10862250
10864361
11131120
10865901 EcoLesfalladesdemercat
EcoN ecessitatdeCanvi Ec oDirectCosting EcoElasticidadpreciodelademanda EcoServiciosySectorP EcoPoliticaMonetariaExpansiva 10859914 Ec oPoliticamacroeconomica Ec oCostosD eProduccio EcoM
11127550 10129453
EcoSituaciodelmercatdelavivenda 10879293 11002272
Ec oTreballSocialiEstatdeBenestar 10894332
10913195
94003851
10883084 10286124 10913733
EcoDivises
EcoExc
Ec oProblemaEconomic Ec oD iners
Ec oPol EcoExternalitats
10858105
10876331
10889830 Ec oPoliticaeconomica EcoExc esD eOferta EcoRenta Ec oAranzel
10020441 Es tatBenestar
11003020
EcoFiscal
10155611
EcoEs tabilitat Ec oBens
10869353
10094302 10866623
10904051
Ec oTreball EcoD evaluacio
EcoProductivitat
10914061
10236811
10087431
11017845
Ec oConstrucciocomunitaria
Ec onomiesD escala
10090931
10877053
10882900
93255175 10222461
10867010
Ec oAnalisiValoratiu
11156810
11013520
11153564
EcoSistemaI mpositiu
10211891 EcoEs tatdelbenestar
10870882
98050820
11147043
11181785
EcoElmercat
11156062
11113410
11104752 EcoCooperativa
99400534 11163530 11167284 EcoPoliticaurbanisticadelsajuntaments
11157333
11132634
11126953 10306015
11150834
Ec oN acionalitzacioPertroli 11100235 11165140 10201214
Ec oConfer
11169233
EcoPrestacionsecon
10883961
11174612 11179652
11104671
Ec oArticuloElPeriodico
11171996
11144965
11141362
97176752
11111586 11155546
11142880 11102641
10859984
Ec oD iscursosdelD esinter
11162141 98221336
11168986 93503826
11107504
10094895
10172396
10107263
EcoD iscussioEspingAndersen
11136086 10810273 11186346
11162524 10528372
10503404 10124015 11101333
EcoLaG eneraci
11100224
10852472
11162734 11016482
11013936
11153811
EcoCapitalismeicultura
10151503
11172781
10301815
11165512
11182765 11185182
10887424
11771561 11171020 EcoCapitalSocial 10907422
11117875
10225692
22457869
Ec oBequesMenjador 11138573
10287406
11008491
11158545
Ec oChinaanteelmundo
11151125 11126312
Ec oPisosde30m
11110805 EcoLaMujerAlTrabajo
11129602 10264225
11184154
11130560
11173153 11100471
11011405
11760560
11110050
10854966 10911456
11751666
EcoPensadores
10311475
EcoAnalisiComparativaD elMonopoliI LaCompetenciaPerfecta Ec oN oticia
10897375
EcoCrisisEs tadoBienestarYTrabajoComunitario 11130335 10270153
11152105 11106631
11131422 10916172 11109921 EcoDiscussioSocietatConsum EcoVidalaboralvs vidafamiliar EcoProblemaVivenda
Ec oCostOportunitat
10892873
Ec oRespostaq
11135773
11174763
10872923 10911250 10241254
11166761
11118376 EcoI mmigrants Ec oElfuturodelestadodebienestar Ec oArticleCrash
11136532 11763850 11103492
10273594
EcoLleideDemanda
10892372 EcoCorbaDeDemandaI ndividua 10916135
11161581
99054012
11176712 11175496
11771336
99027095
Ec oCeterisParibus Ec oCrecimientoEc onomico
Ec oPoliticaMonetaria
11124411
11119824
Ec oSocietatConsum
EcoD iferenciassalariohombreymujer Ec oParisBotellon
11186560
10912086
10860872 11011534 10900190
EcoSAD
11003521
10235050
EcoAutarquia Ec oTipusD eDemandes
11763334
10913265
11122915
11157440
18587729 11004641
EcoMonopoli
99140016
11103654 11100843
11122882
EcoCompetenciaPerfecta 10209640 Ec oQuantitatDemandada 10913276
10903340
10858621
EcoOligopoli
Ec oComercioJ usto
EcoMercat
10890235
EcoD eudaExt
10920206
10915542 10897331
11012923 11172803
Ec oArticle
11177530 11106874
Ec oCorbaD eD emandaD elMercat Ec oCostDeOportunitat
10850125
10875480 10202183
11164031 10284945
11182124 Ec oPI RMI
EcoProduccio
10877694 EcoDemandaAgregada 11014441
EcoVivenda EcoCompetenciaI mperfecta
Ec oTipusI mpostos
1091883211176082
11155745 10098093
EcoCreaci EcoLosimpuestos
EcoElasticitatPreuDemanda 98205505 11014474
11010786 10254075
10267795 Ec oAltresConceptes
EcoCreacioigestiodeserveis
10861701
11173680
EcoResistenciasantelaglobalizaci
11162196
EcoFuerzasMercado oG lobalitzaci Ec
EcoBancMundial
11002040
84208036
10271133
11223344
Ec oPoliticaFiscal
Ec oDemanda EcoTipusD eMercat
EcoPoblacioActiva
11169196 11172070
EcoServeisSocials
EcoProteccionismeEcoLaDonaiEstatdeBenestar Ec oAtur EcoEconomia EcoPuntEquilibri
10907046
99039640
10878431
EcoActivitatEconomica 10859855
10137503 10220556
11006376 10187391
11136753
10869316 EcoPoliticaMonetariaRestrictiva
10910115 EcoEs tadodelBienestar EcoClassificaci 10882686 10878442 98072306
95034133 11184891
94176261
10916334 10867441
10858746
11017963 EcoAvantatgeComparatiu 10137702 EcoElsDeterminantsDeLaD emanda Ec oComer Ec oD ifer Ec oElasticitat Ec oConceptoPI B
Ec oPerqu 11751445 10907551
11019072 10259900
Ec oFactorsdeproduccio 96225791 10910572
EcoLaSituaci
EcoCorbaD eOfertaDelMercat 10876445
Ec oPreu Ec oTr EcoElementsQueComponenLaEmpresa EcoTipusd EcoFuncioRedistributiva
10313645 10292796
EcoLliurecanvisme
10259885
Ec oProductoI nteriorBruto
EcoFunci
99028193 10882690
10860721
EcoEmpresa
10853205 11010856 Ec oOferta 10854480 EcoExc edentDelConsumidor Ec oMicroeconomiaI Macroeconomia 10916916
11117400
11124396
10917443 Ec oRelacioRealD 10896642
EcoFonsMonetariI nternacional
EcoFontsAvantatgeComparatiu
Ec oFuncionsEc onomiques
11002530
EcoProgramasp
EcoElsCiclesEconomics
Ec oEc onomista EcoModelosdeEs tadodelBienestar
Ec oTasaAtur 10872654
10915450
11117341 EcoElProblemaDeLaVivienda 11013785
Ec oI pc
Ec oI nflacio
95237601
11141992
11164591 11166643
10142090
11104074 11186685
98083414
Figura 3. Representación gráfica de la matriz bipartita conjunta de editores y conceptos, con el tamaño del nodo según el grado de centralidad y el color según sean editores (rojo) o conceptos (azul).
B. Clasificación temática de los contenidos y peso de cada estudiante en ellos (objetivo 2) Un efecto de los proyectos colaborativos a gran escala de creación más o menos libre de contenidos es que el ritmo elevado dificulta algo tan básico como la propia clasificación temática de los contenidos y de los intereses de los estudiantes. Realizar una aproximación a un sistema de clasificación automática por temas era el segundo objetivo marcado anteriormente. Para ello se utilizó el análisis factorial. Esta técnica “comprende diferentes métodos que permiten examinar la estructura subyacente en un conjunto de variables y condensar la información que contienen revelando las dimensiones fundamentales y, por tanto, simplificando las relaciones existentes entre variables observables” (Luque Martínez, 2000, pág. 39) [48]. Planteamiento del análisis y datos de partida: La aplicación que aquí se realiza se basa en la hipótesis de que los individuos tendían a especializarse en contenidos similares. De esta manera, se utilizaron los 148 conceptos como variables para el análisis, y los 308 editores como casos. Se construyó una matriz que mostraba el número de ediciones que realizó cada estudiante de cada concepto. Se aplicó una rotación VARIMAX para intentar maximizar la separación de la pertenencia a los factores. Principales resultados conseguidos: Recogiendo 10 factores (interpretados como áreas temáticas), la variabilidad explicada es baja, del 29,7%, pero
Figura 4. Red de editores que comparten la edición de 4 o más conceptos. Tamaño del nodo según medida de centralidad.
permitía una aproximación clasificatoria de utilidad significativa. La Figura 6 muestra la etiqueta explicativa asignada para cada factor. Dentro de cada uno de los factores (el Factor 8: Social sirve como ejemplo) puede desglosarse el peso de cada concepto (página web) en ese factor y una aproximación del peso/importancia que tiene cada estudiante en el desarrollo de ese factor. C. Clasificación de los colaboradores (estudiantes editores) según el tipo de contribución y rol en el proceso colaborativo (objetivo 3) El análisis de los registros (o “logs”) utilizado anteriormente es útil pero limitado. No es lo mismo un estudiante que corrige un acento que uno que añade información útil, un ejemplo clarificador o uno que simplemente “copia y pega” información irrelevante. El valor de su aportación puede ser distinto, pero estas diferencias pasan desapercibidas si tan sólo valoramos los registros. Este análisis entra en el detalle del tipo de contribuciones, clasificando a los estudiantes a través de un clustering. Como menciona Janert (2011, pág. 293) [49]: “El término clustering se refiere al proceso de encontrar grupos de puntos dentro de un conjunto de datos que están de alguna manera „juntos‟. También es un método de aprendizaje no
Figura 5. Red de conceptos que comparten 4 o más editores. Tamaño del nodo según medida de centralidad.
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
206
VAEP-RITA Vol. 3, Núm. 4, Dic. 2015 TABLA I NÚMERO DE ACCIONES RECOGIDAS POR CADA CATEGORÍA DE EDICIÓN DE CONTENIDOS EN LA CREACIÓN DE LOS CONCEPTOS ANALIZADOS
Figura 6. Ejemplo de descomposición del Factor 8, “Social” según peso de los contenidos (páginas el wiki) y editores que lo configuran.
supervisado, porque no sabemos con antelación dónde se sitúan los clústeres y a qué se parecerán”. 1) Datos de partida y planteamiento del análisis Para este análisis se hace necesario generar una muestra de aportaciones suficiente y validada por observación humana. Se realizó una clasificación manual de una muestra de ediciones para obtener datos con los que realizar esa clasificación y posteriormente entrenar al algoritmo predictivo que se muestra en la sección siguiente. Para ello, adaptando la clasificación de Liu y Ram (2011) [32] se identificaron 14 tipos de ediciones importantes, algunas valorables como positivas para mejorar la calidad del desarrollo (introducir información relevante, introducir ejemplos relevantes, combinar argumentaciones, reestructurar correctamente contenido, corregir faltas de ortografía, editar el formato wiki, etc.)y otras valorables como negativas (introducir información irrelevante, introducir ejemplos irrelevantes, correcciones ortográficas incorrectas, borrar incorrectamente contenido, etc.). Posteriormente se analizó una muestra de 1,167 ediciones individuales en base a esos tipos de ediciones, en las que el profesor de la asignatura situó cada aportación analizada dentro de una de las 14 acciones posibles. Los resultados aparecen en la Tabla I. Se utilizó un programa libre del campo de la investigación genética llamado Cluster 3.02 (utilizado para comparar y agrupar cadenas de ADN y ARN), mientras que para la visualización se recurrió a Java TreeView 3. Tanto para los datos agrupados del tipo de acción como para el número de acciones, se normalizaron las filas (editores) y columnas (acciones), multiplicándose los valores de cada fila por un factor S tal que la suma de los cuadrados de cada fila fuese 0, e igual para cada columna. Con esta matriz normalizada y centrada se ha procedió a realizar un doble análisis de clústeres para agrupar tanto las categorías de edición como los editores en base a estas categorías. Este análisis requiere la determinación previa del número de clústeres en los que se quiere agrupar la información. Después de distintos ensayos, se determinó que el número más adecuado era de 6 grupos en ambos casos. El análisis de clúster consiste en un proceso de iteración a partir de una asignación aleatoria de puntos, para posteriormente
Figura 7. Ejemplo de clúster. Grupo motor del proceso colaborativo, formado por 3 editores del Clúster 5 y descomposición de su nivel de actividad en los ítems analizados.
reposicionarlos de manera que queden al medio de la distancia con los elementos que quedan más cercanos a este punto. El criterio utilizado para calcular las distancias de estos puntos centrales (o centroids) fue el de la distancia euclídea. Debido a esa asignación aleatoria, puede darse el caso de que el mismo análisis llegue a soluciones diferentes. Para encontrar una solución única se repitió el análisis 10,000 veces, llegándose a la misma solución en 508 casos, un número considerado suficiente para validarla como óptima. 2) Resultados Se identificaron 6 clústeres de estudiantes en función del tipo de aportaciones, que se denominan como: Grupo motor - Figura 7; Vinculadores; Formateadores; Informadores y más; Informadores y Pasivos. Estos clústeres agrupan de manera autónoma a los estudiantes, generando distintas identidades o roles en base al tipo de aportaciones que han realizado en el proceso colaborativo.
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
SANCHO: NUEVAS POSIBILIDADES DE APRENDIZAJE POR PROYECTOS COLABORATIVOS MASIVOS... D. Clasificación de los contenidos según su calidad en base a los criterios establecidos por cada profesor (objetivo 4) La última parte de la información propuesta es una de las más complicadas: analizar la calidad del contenido construido colaborativamente de forma masiva. En primer lugar, el problema para esta aproximación es que la calidad habitualmente requiere un análisis externo cuando el proyecto está acabado, cosa que conlleva un feedback costoso y con demasiado retardo [50]. En segundo lugar, la propia definición de calidad es más compleja y subjetiva de lo que a primera vista se podría pensar. 1) Planteamiento del análisis Para clasificar los contenidos a partir del texto se utilizó un algoritmo predictivo, de tipo “naive” Bayes, que podríamos traducir como “bayesiano ingenuo” que ha demostrado su efectividad en contextos muy distintos, desde el procesamiento de lenguaje natural [51], la clasificación de documentos textuales en procesos de generación de inteligencia colectiva [52-54] o la creación de filtros de spam para el correo electrónico [55]. Esta sorprendente efectividad y eficiencia puede ser debida a que aunque no suele cumplirse la independencia condicional en la que se basa, en las aplicaciones reales las dependencias suelen cancelarse mutuamente [56]. En este caso se utilizó una versión adaptada del algoritmo propuesto por Hillary Mason [53]sobre Python con la implementación de Pyyaml 6 y el Natural LanguageToolkit. La aplicación del algoritmo se basa en el supuesto de que encontrará patrones en el uso de palabras y composición del texto final que permitan diferenciar un texto bien construido de un texto mal construido. La idea básica del análisis es que un contenido sería adecuado si está construido a partir de partes que el profesor marca como deseables, y viceversa, y estas partes probablemente dejarán rastros (patrones) en el lenguaje escrito. Por supuesto, es una aproximación no exenta de riesgos: un contenido construido en base a partes y elementos positivos deseables puede ser modificado por el último editor y mostrar una calidad aberrante, y también al revés, pero puede ser un compromiso aceptable si se piensa en términos de proceso de aprendizaje. Este algoritmo de clasificación supervisado requiere una entrada dicotómica de textos “correctos” y de textos “incorrectos” para aprender de ellos detectando patrones y poder posteriormente predecir la clasificación al encontrar un nuevo texto. El elemento clave será, entonces, la preparación de los textos para este entrenamiento. 2) Datos de partida A partir de las acciones señaladas y recogidas en el apartado anterior, se ponderaron los elementos constructivos (las aportaciones), algunos positivos y deseables y otros negativos e indeseables. La clasificación y ponderación otorga un margen importante de adaptación a los criterios de cada docente (puede decidir qué valora y cómo lo valora en el proceso de construcción del proyecto). Con ello se realizó una valoración acumulada de la calidad del proceso de construcción del contenido y de esta manera se llegó a una escala de valoración del proceso (Figura 8). Como algunos conceptos estaban escritos en catalán, otros en castellano y algunos de forma mezclada, se utilizó un algoritmo de tipo “stemmer” derivado del clásico de Porter [57]. Estos
207
Alg oritm o Crit erio sd e dic ot omizac ión
Aprend izaj e
Textos Tipo 1
Análisisd elleng uaje
D et ec t a e id ent i?c a Pat rones
Textos Tipo 2
Inp ut Textoa c lasi?c ar
Análisisd elleng uaje
Clasi?c ación probabilística
Delanális is d e cústeres
Figura 8. Esquema de la aplicación y funcionamiento del algoritmo de aprendizaje supervisado de tipo “naive Bayes”.
algoritmos, aunque con dificultades de adaptación a nuestras lenguas, permiten obtener tan solo la raíz de cada palabra. Se utilizó una pequeña parte de los conceptos valorados en el algoritmo, los conceptos mejor valorados como “texto modelo tipo 1” y los menos valorados como “texto modelo tipo 2” para el aprendizaje supervisado. Finalmente, se probaron los conceptos con los casos más complicados, los de valoración intermedia, para comprobar si el algoritmo los valoraba más próximos a un tipo u otro. 3) Resultados Después de trazar una línea ciertamente arbitraria en la mediana de valoración de los conceptos ordenados para separar en dos mitades los conceptos (identificando los “mejor” y “peor” construidos), el resultado fue que el algoritmo era capaz de clasificar el 75% de los conceptos identificados como “más correctamente desarrollados” y el 62% de los identificados como “menos correctamente desarrollado”. Una aproximación débil, contando que se sitúa en condiciones de prueba muy desfavorables, pero que abre un planteamiento interesante para desarrollos posteriores. E. Asignar y visualizar los ítems anteriores para cada estudiante y para cada página de contenido (objetivo 5) Toda la información del proceso, hasta ahora analizado de manera global, debía ofrecerse de manera resumida y visual para cada uno de los estudiantes editores. Se trataba de poder ofrecer una información tanto al estudiante como al profesorado, sobre la situación individual contextualizada dentro del proceso colaborativo global. Ello requiere una representación individualizada de los resultados de los análisis anteriores. Como se muestra en la Figura 9, la mejor opción considerada era utilizar el análisis de redes, ya que permitía también la contextualización necesaria. De esta manera, tomando como ejemplo el editor 10273594 señalado en la Figura 9, conocemos su posición, importancia y función en el proceso colaborativo. Destaca una importante centralidad de grado y de intermediación en el análisis de redes (hacer la función de “puente” entre editores), aunque no es de los que más ediciones ha realizado. Por otra parte, conocemos el tipo de acciones que realiza ya que pertenece al clúster que introduce información y más cosas, pero no al grupo motor. Por último, se permite una aproximación a los temas que desarrolla, básicamente de los factores de Teoría económica
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
208
VAEP-RITA Vol. 3, Núm. 4, Dic. 2015 campo pedagógico y la ambición suficiente para innovar al respecto. REFERENCIAS [1]
[2]
[3]
[4] [5] Figura 9. Ejemplo de visualización individualizada de los resultados anteriores para el editor 10273594. [6]
(donde es el 5º editor por importancia) y Sociales (donde es el 10º editor). VII. CONCLUSIONES Este artículo muestra dos cosas: (1) que el desarrollo y la aplicación de nuevas analíticas de aprendizaje es un elemento decisivo para hacer posible el uso de proyectos colaborativos masivos como productos de aprendizaje con los que trabajar en nuestro sistema educativo; y (2) que es factible diseñar e implementar estas analíticas de manera mayormente automatizada y con una visión general de distintas facetas del proceso colaborativo, tanto a nivel de proceso global como de cada uno de los participantes y contenidos desarrollados. Esta es tan sólo una primera aproximación que pretende avanzar hacia el planteamiento de productos de aprendizaje complejos, que intenten al mismo tiempo mejorar los procesos de aprendizaje y contribuir a la creación de resultados finales que sean de utilidad social. Las técnicas mostradas parten del uso de wikis, pero pueden ser adaptadas a otras plataformas con relativa facilidad. Para seguir en esta línea queda mucho por hacer. Es fácil proponer que los futuros y necesarios desarrollos de esta línea vayan encaminados a: (1) desarrollar una plataforma específica que permitiera unificar los distintos análisis y ofreciera un fácil acceso y usabilidad para los usuarios; (2) mejorar la visualización de los resultados, por ejemplo añadiendo la variable tiempo para mostrar la evolución continuada en los distintos indicadores; (3) aumentar la dimensión para mejorar y hacer más precisas algunas medidas; y (4) mejorar la calidad y automatización de las analíticas propuestas. Para conseguir estas mejoras probablemente no haya mejor camino que el andar, creando proyectos similares, perdiendo el miedo al tamaño y probando y añadiendo las mejoras necesarias. Todo ello abriría la puerta a un segundo nivel de investigación: datos comparables permitirían avanzar en el análisis comparativo de los procesos de colaboración en el aprendizaje y en la construcción colaborativa de valor. En cualquier caso, se requiere un inexcusable trabajo conjunto entre el campo analítico y el
[7]
[8]
[9] [10]
[11] [12]
[13]
[14]
[15]
[16]
[17] [18]
[19]
[20]
Schön, D. La formación de profesionales reflexivos: hacia un nuevo diseño de la enseñanza y el aprendizaje en las profesiones (Paidós, Barcelona, 1992). Schön, D. El profesional reflexivo: Cómo piensan los profesionales cuando actúan (Paidós, Barcelona, 1998). Lishman, J. Handbook for practice learning in social work and social care: knowledge and theory (Jessica Kingsley Publishers, 2015). Sennet, R. El artesano (Anagrama, Barcelona, 2012). Deslauriers, L., Schelew, E. & Wieman, C. Improved learning in a large-enrollment physics class. science 332, 862-864 (2011). Freeman, S. et al. Active learning increases student performance in science, engineering, and mathematics. Proceedings of the National Academy of Sciences 111, 8410-8415 (2014). Wieman, C. E. Large-scale comparison of science teaching methods sends clear message. Proceedings of the National Academy of Sciences 111, 8319-8320 (2014). Helle, L., Tynjälä, P., Olkinuora, E. & Lonka, K. Ain‟t nothin‟ like the real thing‟. Motivation and study processes on a work-based project course in information systems design. Br J Educ Psychol 77, 397-411 (2007). Argyris, C. Teaching smart people how to learn. Harvard business review 69, (1991). Argyris, C. Empowerment: the emperor‟s new clothes. Harvard Business Review. Maig - juny, (1998). Levine, A. Owning Your Massive Numbers. (2012). Sancho, J. MOOCs are knocking on the university‟s door: trick or threat? Roundtable - UNESCO Chair in Education & Technology for Social Change - UOC. http://goo.gl/OQDGRc (2013). Cano, E. Buenas prácticas en la evaluación de competencias. Cinco casos de educación superior. (Laertes, Barcelona, 2011). Cress, U., Moskaliuk, J. Y. & Jeong, H. Mass Collaboration and Education (Springer International Publishing, 2016). Tapscott, D. & Williams, A. D. Wikinomics: How mass collaboration changes everything (Penguin Group, London, 2007). Jonassen, D. H., Peck, K. L. & Wilson, B. G. Learning with technology: A constructivist perspective (Prentice Hall, 1999). Jonassen, D. H. 137-148 1992). Davidson, R. Wiki use that increases communication and collaboration motivation. Journal of learning design 5, 38-49 (2012). Cole, M. Using Wiki technology to support student engagement: Lessons from the trenches. Computers & Education 52, 141-146 (2009). Tetard, F., Patokorpi, E. & Packalen, K. Using Wikis to support constructivist learning: a case study in university education settings. HICSS’09. 42nd
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
SANCHO: NUEVAS POSIBILIDADES DE APRENDIZAJE POR PROYECTOS COLABORATIVOS MASIVOS...
[21]
[22]
[23]
[24]
[25]
[26]
[27]
[28]
[29]
[30]
[31]
[32]
[33]
[34]
[35]
[36]
[37] [38]
Hawaii International Conference on System Sciences 1-10 (2009). Parker, K. R. & Chao, J. T. Wiki as a Teaching Tool. Interdisciplinary Journal of Knowledge and Learning Objects 3, 57-72 (2007). Su, F. & Beaumont, C. Evaluating the use of a wiki for collaborative learning. Innovations in Education and Teaching International 47, 417-431 (2010). Vigotsky, L. S. El desarrollo de los procesos mentales superiores. Editorial Grijalbo. Barcelona. España (1978). Sancho, J. Presentación de una metodología para desarrollar la transversalidad disciplina en los estudios de trabajo social. Acciones e investigaciones sociales Extra, 377 (2006). Sancho, J., Barbero, M., Canals, J., Cortès, F., Iannitelli, S., Llobet, M., Mestres, M., Prat, N., Tous, J. Una nova metodologia d‟identificació i anàlisi per potenciar la transversalitat disciplinària aplicada als estudis de treball social. Butlletí La Recerca (2006). Roth, C., Taraborelli, D. & Gilbert, N. Measuring wiki viability: An empirical assessment of the social dynamics of a large sample of wikis. Proceedings of the 4th International Symposium on Wikis 1-5 (2008). Ortega, F. Wikipedia. A quantitative analysis. doctoral dissertation. University Rey Juan Carlos (2009). Kittur, A. & Kraut, R. E. Harnessing the wisdom of crowds in wikipedia: quality through coordination. Proceedings of the ACM 2008 conference on. (2008). Korfiatis, N. T., Poulos, M. & Bokos, G. Evaluating authoritative sources using social networks: an insight from Wikipedia. Online Information Review 30, 252262 (2006). Holloway, T., Bozicevic, M. & Börner, K. Analyzing and visualizing the semantic coverage of Wikipedia and its authors. Complexity 12, 30-40 (2007). Klamma, R. & Haasler, C. Dynamic Network Analysis of Wikis. Proceedings of I-KNOW ’08 and I-MEDIA ‘08 (2008). Liu, J. & Ram, S. Who does what: Collaboration patterns in the wikipedia and their impact on article quality. ACM Transactions on Management Information Systems (TMIS) 2, 11 (2011). Welser, H. T., Cosley, D., Kossinets, G. & Lin., A. Finding social roles in Wikipedia. Proceedings of the 2011 iConference 122-129 (2011). Gašević, D., Dawson, S. & Siemens, G. Let‟s not forget: Learning analytics are about learning. TechTrends 59, 64-71 (2015). Siemens, G. The Journal of Learning Analytics: Supporting and Promoting Learning Analytics Research. Journal of Learning Analytics 1, 3-5 (2014). Sancho, J. Learning analytics to ignite massive collaborative projects. Learning Analytics Summer Institute (2015). Snow, C. P. The two cultures (Cambridge University Press, New York, 1998). Wasserman, S. & Faust, K. Social Network Analysis Methods and Applications (Cambridge University Press, New York, 1994).
[39]
[40] [41]
[42]
[43] [44]
[45] [46]
[47]
[48]
[49] [50]
[51] [52] [53] [54]
[55] [56]
[57]
209
Moreno, J. L., Jennings, H. H. & Stockton, R. Sociometry in the classroom. Sociometry 425-428 (1943). Moreno, J. L. Sociometry in action. Sociometry 5, 298-315 (1942). Garton, L., Haythorntwaite, C. & Wellman, B. in Doing Internet Research: Critical Issues and Methods for Examining the Net (ed Jones, S.) 75 106 (Sage, Thousand Oaks, CA, 1999). Marin, A. & Wellman, B. in Handbook of Social Network Analysis (eds Carrington, P. & Scott, J.) (Sage, Londres, 2010). Borgatti, S. P. in Encyclopedia of Complexity and System Science (ed Meyers, R. A.) (Springer, 2009). Skvoretz, J. & Faust, K. Logit models for affiliation networks. Sociological Methodology 29, 253-280 (1999). Tsvetovat, M. & Alexander, K. Social Network Analysis for Startups (O‟Reilly, Sebastopol, 2011). Newman, M. E. J. & Girvan, M. Finding and evaluating community structure in networks. Physical review E 69, 26113 (2004). Girvan, M. & Newman, M. E. J. Community structure in social and biological networks. Proceedings of the National Academy of Sciences 99, 7821-7826 (2002). Luque Martínez, T. in Técnicas de análisis de datos en investigación de mercados (ed Luque Martínez, T.) 39 -387 (Ediciones Pirámide, Madrid, 2000). Janert, P. K. Data analysis with Open Source tools (O‟Reilly, Sebastopol, 2011). Arazy, O. & Nov, O. Determinants of Wikipedia quality: the roles of global and local contribution inequality. Proceedings of the 2010 ACM conference on Computer supported cooperative work 233-236 (2010). Bird, S., Klein, E. & Loper, E. Natural Language Processing with Python (O‟Reilly, Sebastopol, 2009). Segaran, T. Programming Collective Intelligence (O‟Reilly, Sebastopol, 2007). Mason, H. An Introduction to Machine Learning with Web Data (O‟Reilly, Sebastopol, 2011). Barber, D. Bayesian Reasoning and Machine Learning (Cambridge University Press., Cambridge, 2012). Conway, D. & White, J. M. Machine learning for hackers (O‟Reilly, Sebastopol, 2012). Zhang, H. The optimality of naive Bayes. Proceedings of the XVII International Florida Artificial Intelligence Research Society Conference 1, 562-568 (2004). Porter, M. F. An algorithm for suffix stripping. Program 14, 130-137 (1980).
Jordi Sancho es doctor por la Universidad de Barcelona y profesor de Política Social en el departamento de Trabajo Social y Servicios Sociales de la Facultad de Educación de esta universidad. Licenciado en Ciencias Económicas y Empresariales por la UB y Máster en Análisis de Políticas Sociales Europeas por la Universidad de Bath (Inglaterra), ha sido profesor de las últimas 15 ediciones del Máster de Estudios Sociales Comparativos de la Universidad de Zuyd en Maastricht y la London Metropolitan University de Londres. Es investigador del Laboratorio de Medios Interactivos de la UB.
ISSN 2255-5706 © IEEE-ES (Capítulo Español)
