Evaluación de Sistemas de Administración del Aprendizaje (LMS) en 3D JIMMY Y. ARDILA M. y EDITH M. RUÍZ C. Grupo de Investigación EDUTIC, Facultad de Ciencias e Ingeniería, Universidad de Boyacá Tunja, Colombia Abstract— En este documento se plasma el avance de la investigación “Estudio comparativo entre plataformas virtuales gratuitas y la plataforma virtual propietaria de la Universidad de Boyacá” que adelanta el grupo de investigación EDUTIC. En el contenido se indican algunos elementos teóricos que se han tenido en cuenta, la selección de las herramientas vinculadas en el estudio y las dimensiones que han de ser evaluadas. Index Terms—Evaluación de plataformas virtuales, Sistemas de administración del aprendizaje, tecnologías de la información y la comunicación en educación
I. INTRODUCCIÓN1
L
masificación de la oferta en educación superior ha sido impulsada desde las políticas propuestas por la UNESCO y acogida por sus países miembro. Este escenario ha incrementado la demanda en el sistema educativo, el cual hace uso de las tecnologías de la información y la comunicación (TIC), y en especial de los sistemas de administración del aprendizaje (Learning Management System - LMS) para hacerle frente. Pero la selección del LMS que se ajuste a los intereses institucionales pasa, en ocasiones, por una elección de popularidad. Si se hace la elección incorrecta, suscita una pérdida significativa de tiempo e incluso una degradación de la imagen
institucional ante sus educandos. Por tal razón la Vicerrectoría de Educación Virtual de la Universidad de Boyacá, ha asumido desde el grupo de investigación EDUTIC, la construcción de un modelo que permita la evaluación de LMS. Para tal fin ha generado un modelo de evaluación que involucra tres dimensiones para su valoración: modelo pedagógico, usuario y aspectos técnicos. Cada una de ellas está integrada por una serie de factores que han sido ponderados. En el estudio comparativo se han vinculado los LMS Moodle (distribución libre), Chamilo (software libre, bajo licencia GNU/GPL), Claroline (software libre, bajo licencia GNU/GPL), Atutor (licencia Open Source) y la herramienta propietaria de la Universidad de Boyacá.
A
1 El documento de presentación de ponencia fue entregado el 13 de Diciembre de 2013. La investigación denominada “Estudio Comparativo entre plataformas virtuales gratuitas y la plataforma virtual propietaria de la Universidad de Boyacá”, es adelantada por el grupo de investigación EDUTIC, adscrito a la Facultad de Ciencias e Ingeniería de la Universidad de Boyacá. El grupo a su vez tiene como misión soportar a través de sus investigaciones las actividades que se adelantan en la Vicerrectoría de Educación Virtual de la institución. Jimmy Y. Ardila M. es profesor asistente de la Universidad de Boyacá, y se encuentra adscrito al Departamento de Informática de la Universidad de Boyacá, ubicada en la ciudad de Tunja, Colombia. Cuya dirección de correspondencia es la Cra 2 este # 64-169 (email:
[email protected]). Edith M. Ruíz C. es profesional de la Vicerrectoría en Educación Virtual de la Universidad de Boyacá, ubicada en la ciudad de Tunja, Colombia. Cuya dirección de correspondencia es la Cra 2 este # 64-169 (email:
[email protected]).
La ponencia se divide en cinco secciones. La primera de ella orígenes, en donde se describe la forma en que surge el proyecto de investigación. La segunda hace una descripción de algunos antecedentes que se han incluido en el estudio. La tercera muestra la revisión del marco teórico que ha incidido en la decisión de las dimensiones y los factores. La cuarta tiene que ver con los resultados obtenidos, en esta etapa se muestra los factores y las características que han sido involucrados en el estudio, y las plataformas seleccionadas. Finalmente se agregan conclusiones y las tareas futuras que demanda el desarrollo del estudio.
ORÍGENES Es conveniente indicar al lector los elementos que dieron origen al proyecto de investigación “Estudio comparativo entre plataformas virtuales gratuitas y la plataforma virtual propietaria de la Universidad de Boyacá”. La Vicerrectoría de Educación Virtual de la Universidad de Boyacá, entre sus diversas funciones, tiene a cargo la oferta académica virtual de la
21 CIIIS 2014
ISSN: 2382-3593
institución, así como el proceso formativo de los docentes en áreas relacionadas con las tutorías virtuales de aprendizaje y el diseño de contenidos virtuales. Los contenidos construidos pueden ser empleados, con el acompañamiento de los funcionarios de la vicerrectoría, en cursos de diferentes áreas en modalidad blended, b-learning. En la actualidad la Universidad de Boyacá cuenta con una plataforma propietaria que soporta 189 cursos virtuales que han sido certificados por la vicerrectoría. Estos cursos en su mayoría son usados en modalidad blended, para soportar la oferta presencial académica que se realiza en la universidad. La acogida que esta modalidad formativa tiene por parte de los docentes ha generado nuevas necesidades, entre las que se encuentran herramientas de comunicación sincrónica y asincrónica, reutilización de contenidos, instrumentos de evaluación (heteroevaluación, coevaluación y autoevaluación), y herramientas de authoring, por mencionar algunas. A su vez la Vicerrectoría de Educación Virtual tiene un especial interés en desarrollar procesos formativos que se caractericen por la inclusión, aspecto que resulta deficiente abordar con la plataforma que se cuenta en la actualidad. También es de interés institucional no incurrir en gastos de licenciamiento existiendo suficientes alternativas gratuitas. Debido a las nuevas necesidades, la vicerrectoría requiere elegir cual es el LMS que se ajusta a los intereses institucionales. El problema surge entonces, al tener que seleccionar un LMS, debido a la cantidad de herramientas que ofrecen servicios semejantes en el mercado. La institución no desea en términos de [1] usar herramientas por asunto de moda. Por tanto, surge la necesidad de brindar una mirada investigativa para sustentar la decisión; de allí surgen las siguientes preguntas ¿Cuáles son las características y servicios que debe ofrecer un LMS para que pueda ser considerado como el instrumento que permite desarrollar el modelo pedagógico de la Universidad de Boyacá? ¿Cuáles son las plataformas gratuitas que deben tenerse en cuenta en el estudio comparativo? ¿Cuáles son las dimensiones que deben involucrarse en la evaluación de los LMS? ¿Qué criterios deben ser involucrados en las dimensiones? ¿Cómo puede validarse la selección de los criterios? ¿Cómo han de ponderarse los criterios?
Con estas cuestiones en mente, el grupo se traza como objetivo identificar la plataforma virtual gratuita que permita implementar las políticas del modelo pedagógico virtual de la Universidad de Boyacá, a través de un estudio comparativo, con el fin de mejorar y ampliar los servicios que la Vicerrectoría de Educación Virtual ofrece a su comunidad académica.
III. LOS PRIMEROS HALLAZGOS Al iniciar el proceso investigativo se encontró que algunas de estas preguntas, como era de esperarse, ya habían sido formuladas por otros investigadores en distintas latitudes del mundo, los cuales plantearon diferentes formas de abordar la problemática, en esta sección se muestran los antecedentes que se sirvieron de base para el desarrollo del estudio. El título de cada una de las secciones es el nombre que los autores dieron a los proyectos de investigación, artículos o ponencias. Involucrar
A. Elearning. Análisis de Plataformas Gratuitas. El proyecto desarrollado por Delgado en 2003 y que se encuentra descrito en [2], tiene como propósito hacer un análisis de las plataformas de gestión del conocimiento que se distribuyen de manera libre. Para ese entonces la Universidad de Valencia (España), desarrolló el proyecto con la intención de indagar por cuál de las plataformas gratuitas del mercado podía emplearse de manera masiva en la oferta virtual de la institución. Interés que coincide con la actual necesidad de la Vicerrectoría de Educación Virtual de la Universidad de Boyacá. La investigación requería seleccionar las herramientas a involucrar en el estudio, para ello se desarrollaron cuatro filtros. El primero, excluir las herramientas que no tienen información o que no tienen versiones demo. El segundo, seleccionar aquellas plataformas que soporten castellano, inglés, valenciano y catalán. El tercero, quitar aquellas que exigían dependencia de terceros para su funcionamiento. El último filtro, en seleccionar aquellas herramientas que ofrecían funcionalidades de gestión y desarrollo de curso online. Como resultado este primer grupo de filtros dejó en pie
22 CIIIS 2014
ISSN: 2382-3593
doce plataformas: Atutor, BolinOS, CHEF, Claroline, CLOSE, Eledge, Fle3, Ilias, Lon-CAPA, Manhattan, Moodle, y WB T-Master. Finalmente, con las doce herramientas el autor realizó un grupo de pruebas, entre las que se incluyeron: revisión de la información que publica el sitio de la plataforma, idioma, accesibilidad, recursos multimedia, apariencia, compatibilidad con estándares, copias de seguridad, control de acceso, perfiles, chequeo antivirus, correo electrónico, listas de distribución, tablón de anuncios, foros de discusión, chat, pizarra, videoconferencia, página personal, agenda, marcadores, creación de grupos de trabajo, autoevaluación, control de progreso, información sobre cursos y profesores, sencillez de la interfaz, conocimientos previos de informática, importación de material, plantillas, índices, glosario, cooperación entre profesores, gestión del curso, ejercicios, seguimiento al estudiante, ayuda, búsqueda, envío y descarga de ficheros, sincronización tras la desconexión, y posteriormente la documentación. Al consolidar los resultados de las pruebas Delgado concluyó que ante la herramienta que se brindó mejores resultados fue Ilias. El autor realizó con la plataforma un estudio de caso, para identificar el funcionamiento de la aplicación en condiciones reales.
B. Una Comparación y Evaluación de LMS con Licenciamiento Open Source2. En el año 2005 Itmazi, Paderewski y Gutierrez publicaron un artículo llamado “A Comparison and Evaluation of Open Source Learning Management Systems” [3], en donde mostraban los resultados de un estudio en la Universidad de Granada. El proyecto consistió en un estudio comparativo entre los LMS Moodle e Ilias. La elección de esas dos herramientas se debió a los siguientes aspectos: herramientas Open Source; recomendadas por del Ministerio de Educación Australiano y del Instituto Fraunhofer; eran de uso masivo para la época del estudio; y la internacionalización, para la fecha Moodle soportaba 30 idiomas e Ilias 16.
2 Traducción realizada por los autores de la ponencia, el título original es “A Comparison and Evaluation of Open Source Learning Management Systems”
La comparación fue abordada a partir de: herramientas que ofrecen cada las plataformas para el proceso formativo; las características que indican los proveedores; la usabilidad; y debilidades descritas por comunidades de programadores y desarrolladores.
Como conclusión los investigadores afirman que ambas herramientas tienen un buen grupo de características, destacando el alto grado de usabilidad que ambas poseen.
C. Comparación de Sistemas de Administración de ELearning3. En un trabajo mancomunado en el 2006 entre la Zagreb y la Zagreb University y el School of Economics and Management de Croacia, Fertalj, Jercovic y Hlupic realizaron la ponencia titulada “Comparison of e-Learning Management Systems” [4] en el quinto WSEAS International Conference on EACTIVITIES. El estudio realizado por los investigadores ha tenido en cuenta diez plataformas con las siguientes características: LMS tipo propietario; principalmente propietario y parcialmente basado en estándar LMS: principalmente basado en estándar LMS y parcialmente propietario; y plataformas de licenciamiento Open Source. Los investigadores hallaron que los sistemas propietarios tienen la característica de tener un escaso margen de interoperabilidad con otros LMS, mientras que las plataformas basadas en estándares cuentan con un alto grado de interoperabilidad. Sobre las arquitecturas abiertas concluyeron que no son realmente abiertas debido a los esfuerzos para su configuración, integración y comunicación con otros sistemas. Las plataformas que se involucraron en el estudio son: Jenzabiar Internet Campus Solution, como representante de las propietario; eCollege AU+, Learning Manager Entreprise Edition y WebCT Vista como representantes de las principalmente propietario y parcialmente basado en estándar LMS; Angel, Blackboard Academic Suite y Learnwise 3 Traducción realizada por los autores de la ponencia, el título original es “Comparison of e-Learning Management Systems”
23 CIIIS 2014
ISSN: 2382-3593
como representante de las principalmente basado en estándar LMS y parcialmente propietario; finalmente como representante de las arquitecturas abiertas Claroline, Moodle y Sakai. El comparativo se realizó a través del sitio web Edutools, herramienta que salió de servicio en el año 2013. Los factores evaluados fueron: autenticación; automatización de las pruebas y puntaje; calendario; administración del curso; plantillas de curso; personalización; foros de discusión; intercambio de archivos; trabajo en grupo; herramientas para el diseño instruccional; email interno; herramientas de calificación en línea; chat en tiempo real; autoevaluación; y seguimiento a educandos. A cada uno de los criterios se le asignó una ponderación de 0 a 9. En los resultados se destaca que Angel (comprado por Blackboard en 2009) es la herramienta que ocupa el primer lugar con un 92.6% de cumplimiento, seguida de WebCT con el 82.8%. Mientras Moodle ocupa el quinto lugar con el 51.7%, seguida de Sakai en el sexto lugar con el 44.2%. El estudio concluye que las plataformas principalmente basadas en estándar LMS y parcialmente propietarias son las que lideran el mercado del e-Learning, las tres herramientas incluidas ocuparon los tres primeros lugares.
D. Modelo de Calidad para una Plataforma LMS. En 2009, los investigadores Chacón-Rivas y Solano, del Instituto Tecnológico de Costa Rica y de la Universidad de Málaga respectivamente, publicaron un artículo denominado “Modelo de Calidad para una Plataforma LMS” [5], en donde evaluaron la plataforma LRN desde una perspectiva técnica y pedagógica. El estudio se desarrolló en cuatro fases: análisis de necesidades y toma de decisiones institucionales; planificación y desarrollo de la acción formativa de los docentes; estudio piloto e implementación; y finalmente seguimiento, orientación, asesoramiento y evaluación del proceso de implementación. Los criterios que sugirieron los autores para evaluar un LMS corresponden a la arquitectura
tecnológica, las funcionalidades de un LMS y el modelo de calidad. Para la arquitectura tecnológica se involucró la escalabilidad, la seguridad, rendimiento, soporte tecnológico, comunidades de usuarios, motor de bases de datos, lenguaje de programación, servidor de páginas web y la empresa. En las funcionalidades incluyen el conjunto de herramientas que debe tener un LMS, está integrado por lista de miembros, cursos, foros, wiki, chats, entre otros; pedagógicos, aspectos administrativos y de gestión, la usabilidad, elementos simbólicos y la naturaleza del contenido, interactividad y realimentación, herramientas para el aprendizaje y la evaluación. Finalmente en el modelo de calidad se evaluaron las características de calidad (funcionalidad, fiabilidad, usabilidad, eficiencia, portabilidad y mantenibilidad), el ciclo de vida (desarrollo, explotación y mantenimiento) y las características Web (contenidos, presentación y navegación).
E. LMS Open Source en Educación a Distancia 4. Aydin y Tirkes en 2010, en su artículo titulado “Open Source Learning Management Systems in Distance Learnig” [6], describen la evaluación comparativa que realizaron de las herramientas Open Source Moodle, Atutor, Dokeos y OLAT. La comparación se realizó en dos fases; en la primera se analizó las características como aspectos generales, funcionalidad didáctica, herramientas de productividad, herramientas de comunicación, flexibilidad técnica, y usabilidad; en la segunda fase se comparó el comportamiento de esas características en el sistema funcionando. Al evaluar la subcategoría de los aspectos generales se aprecia que Moodle es la única herramienta que cumple con todos los criterios evaluados. En lo referente a la funcionalidad didáctica los resultados mostraron que Moodle y OLAT tienen la capacidad de observar el ingreso de usuarios y el seguimiento a los educandos, permitiendo obtener historias de cada uno de ellos. En los sistemas de evaluación se encontró que 4 Traducción realizada por los autores de la ponencia, el título original es “Open Source Learning Management Systems in Distance Learnig”
24 CIIIS 2014
ISSN: 2382-3593
Moodle y Atutor son los únicos que permiten hacer restricción de fecha y horario. Moodle y Dokeos son los únicos que cuentan con el servicio de teleconferencia. En la subcategoría de las herramientas de productividad, Moodle es la más completa al presentar un sistema ayuda en línea y documentación de archivos. Adicionalmente, Moodle permite que se haga seguimiento de las actividades con un calendario día a día, los docentes pueden colocar temas de discusión y actividades del curso en fechas especiales en donde el sistema se encarga de chequear y sincronizarlas. En la subcategoría de las herramientas de comunicación, Moodle es el único que cumple con todos los ítems incluidos en este punto. En la subcategoría de la flexibilidad técnica Moodle y Atutor presentan la característica de tener soporte XML. Finalmente, con respecto a lausabilidad se refiere Moodle tiene una amplia ventaja sobre las otras herramientas, debido a su disponibilidad en múltiples lenguajes, la interfaz de usuario facilita su uso. Como conclusión Aydin & Tirkes indican que Moodle tiene muchas características que le permiten aumentar su calidad pedagógica cumpliendo con varios elementos que requiere el e-learning.
F. Evaluación de Factores Técnicos en la Educación a Distancia Respecto a LMS Open Source5. En 2012, Alshonrami investigador de la King Abdulazis University en Arabia Saudita, en su artículo “Evaluation of Technical Factors in Distance Learning with Respect to Open Source LMS” [7], se traza como objetivo establecer criterios para la comparación de plataformas LMS de licencia Open Source. Los criterios que el investigador empleó para su estudio se relacionan con la usabilidad, los estándares SCORM e IMS en lo referente al contenido, el soporte multilenguaje, las 5 Traducción realizada por los autores de la ponencia, el título original es “Evaluation of Technical Factors in Distance Learning with Respect to Open Source LMS”
herramientas que fomentan la colaboración, y el soporte a los métodos de enseñanza. Para el desarrollo del estudio Alshonrami seleccionó cinco LMS, ellas fueron Efront, Moodle, Atutor, Ilias y Claroline. La versión empleada fue la versión demo, a través de los roles docente, administrador y estudiante. Dentro de los resultados se destaca que Moodle, Ilias y Atutor tiene flexibilidad en el lenguaje, cuentan con módulo estadístico que soporta la toma de decisiones. Además. Moodle tiene la capacidad de realizar un seguimiento detallado del usuario, cuenta con un adecuado sistema de seguridad y tiene una amplia suite de herramientas que fomentan el aprendizaje colaborativo. Moodle, Ilias y Atutor se destacan por su sistema de evaluación, al permitir realizar diferentes tipos de preguntas y facilitar el seguimiento que puede hacer el tutor de las actividades del estudiante. Además estas herramientas soportan el estándar SCORM e IMS. Finalmente, el autor destaca que Moodle es el único que soporta videoconferencia, chat, transferencia de archivos y pizarra. IV. EL PROCESO Después de revisar antecedentes, los integrantes del grupo de investigación EDUTIC, realizaron una revisión bibliográfica y del modelo pedagógico institucional para la educación virtual, y de esta manera orientar la selección de dimensiones y factores que debían ser vinculadas dentro del proceso investigativo. Luego se seleccionaron las plataformas a partir de diez proyectos de investigación, dentro de los que se encuentran los enunciados en la sección anterior. Finalmente se procedió a la ponderación de cada una de las dimensiones y factores. A continuación se describen algunos de los aspectos teóricos comprendidos y la forma en que se seleccionaron las herramientas. Las dimensiones y factores, junto a sus ponderaciones se muestran en la sección resultados. A. Modelo Pedagógico Institucional para la Educación Virtual en la Universidad de Boyacá.
25 CIIIS 2014
ISSN: 2382-3593
Una de las fuentes documentales que se empleó para la realización del estudio, es el modelo pedagógico institucional para la educación virtual [8]. En la que la Vicerrectoría de Educación Virtual ha planteado tres preguntas ¿Qué enseña? ¿Cómo enseña? ¿Qué y cómo evalúa? ¿Qué enseña? hace referencia a los contenidos y a quienes intervienen en el proceso de aprendizaje. Se destacan aspectos importantes como los componentes del campus, el papel del tutor, los recursos del campus y la estructura interna que posee el curso, los cuales deben favorecer el desarrollo del saber ser, saber conocer, saber hacer y el saber emprender. ¿Cómo enseña? Enmarca las teorías de aprendizaje, las competencias a desarrollar y la forma como se ha de realizar la interacción con los actores del proceso, las cuales son seleccionadas a partir de los intereses de los docentes que construyen los cursos virtuales que se ofertan en la Universidad de Boyacá. ¿Qué y cómo se evalúa? Trabaja dos factores, el primero tiene que ver con el qué y cómo el docente indaga y valora el proceso formativo y realiza la realimentación al mismo, el segundo corresponde a los métodos de estudio que el estudiante incorpora en su proceso de aprendizaje. Con estos dos factores se definen cuatro pautas evaluativas: tipos de ideas, problemas, proyectos y autoevaluaciones.
B. Características de los LMS. Los LMS hacen parte de la amplia gama de herramientas software de formación virtual que se emplean para la administración de cursos. Su funcionamiento se basa en arquitectura Web, en donde las personas que participan en los cursos pueden autenticarse, registrarse, cursarlos y presentar las evaluaciones que allí sean alojadas. Los LMS son usados para procesos de formación asincrónica, y en ocasiones cuentan con servicios de authoring y repositorio [9]. Dentro de las ventajas que ofrece un LMS se encuentra: la centralización del ambiente de aprendizaje con lo que se asegura la consistencia; mejor seguimiento a los educandos, permite mejorar el rendimiento; evaluación inmediata; así como la
posibilidad de ser regulado y estar sujeto a las normas vigentes [10]. En 1993 Bailey presentó una serie de características que debe cumplir un LMS: vincular los objetivos instruccionales a lecciones individuales; incluir lecciones a currículos estandarizados; extender cursos a varios grados de manera consistente; herramientas de administración; recopilar resultados del rendimiento estudiantil; y finalmente proveer lecciones basadas en los rendimientos individuales [9]. La American Society of Training and Development (ASTD), define como funciones de un LMS: permitir la integración con recursos humanos; poseer herramientas para la administración de registros, el currículo, certificaciones, presupuestos y calendarios; crear, administrar, almacenar y distribuir contenidos; integrar contenidos con terceros; evaluar las competencias de los aprendices; permitir la construcción de evaluaciones; emplear estándares; soportar la integración con sistemas existentes; y proveer seguridad a los datos [9]. A lo que el investigador Luis Ortíz agrega las herramientas de comunicación, que son las que hacen posible la comunicación sincrónica y asincrónica entre docentes-estudiantes y estudiantes-estudiantes [11]. La Advanced Distributed Learning (ADL) también resalta la importancia que tiene el soporte offline que debe tener un LMS. Se destaca la posibilidad de permitir que los cursos puedan ejecutarse en un navegador como una aplicación Web, situación que resulta fundamental para aquellos lugares en donde la conexión a internet es deficiente o en donde la conectividad no existe. En seguridad la ADL recomienda que se deba ofrecer protección contra el ingreso no autorizado, y no permitir que los usuarios hagan tareas que se encuentran fuera de los permisos revestidos en su perfil [9]. Para la revista Learning Review, además resulta importante revisar el soporte tecnológico de las herramientas, el perfil de los docentes y los estudiantes que han de interactuar con la herramienta [12]. Finalmente el Learning Technology Standards Observatory (LTSO), impulsado por el Comité Europeo para la Estandarización y la Normalización, recopila una serie de estándares y organiza una serie de categorías que deben ser evaluadas en la educación virtual, ellas son: accesibilidad,
26 CIIIS 2014
ISSN: 2382-3593
relacionado con el uso de diversos navegadores; la arquitectura sustentada en la propuesta de CISCO, es decir, abierta, escalable, global, integrada, flexible y adaptable; calidad; competencias, enfocado en la forma en que pueden evaluarse; contenidos y evaluación; derechos digitales; información de los estudiantes; interoperabilidad; metadatos; proceso de aprendizaje; repositorios; y finalmente vocabularios y lenguajes [13]. C. Aspectos a Evaluar desde la Ingeniería del Software. Un LMS como tal es una aplicación software que funciona en ambientes Web, por tal motivo resulta conveniente tener una mirada desde el punto de vista de la ingeniería del software sobre cuáles son los aspectos que deben involucrarse en la evaluación de la herramienta. En la presente sección se muestran los que se han considerado más relevantes. El Modelo de calidad de McCall, propuesto en 1977, es un referente clásico en el área de la ingeniería del software que se centra en la visión del usuario. El modelo plantea tres áreas particulares, ellas son, operación del producto, revisión y la transición del producto. El primero comprende los criterios de exactitud, confiabilidad, eficiencia, integridad y usabilidad. En el segundo se incluyen mantenibilidad, capacidad de prueba y flexibilidad. Y el tercer criterio incluye interoperabilidad, portabilidad y reusabilidad [14]. En 1984, Garvin propuso ocho dimensiones para la calidad, entre las que se encuentra: el rendimiento, relacionado con aquellos elementos que le dan valor al usuario; características adicionales, aquello que sorprende al usuario y resultan ser un valor agregado a lo esperado; confiabilidad, relacionado con la menor cantidad de fallas posibles y la disponibilidad que posee la aplicación; conformidad, si cumple con lo solicitado, a través de la aplicación de estándares, diseños y uso de convenciones en el código; durabilidad, la proyección en el tiempo que puede esperarse de la aplicación; capacidad de servicio, en el que se evalúa la necesidad de mantenimiento en períodos breves; la estética, que requieren las aplicaciones para ser agradables para el usuario; finalmente la percepción, que se relaciona con la subjetividad de la imagen, la publicidad y la marca [15].
Otro de los referentes que ha sido considerado en la investigación es la propuesta FURPS+, el cual evalúa características como: funcionalidad, en la que se involucra lo referente al grupo de características, capacidades y seguridad; usabilidad, allí se evalúa la consistencia de la interface de usuario, ayuda al contexto, asistentes, documentación y materiales para el aprendizaje; confiabilidad, incluye la frecuencia y la severidad de los fallos, capacidad de recuperación ante fallos, exactitud en la salida y tiempo promedio de fallas; rendimiento, relacionado con la velocidad de procesamiento, tiempos de respuesta, consumo de recursos y eficacia; capacidad de soporte, en la que se evalúa extensibilidad, adaptabilidad, capacidad de prueba, configuración, compatibilidad y requisitos de instalación; finalmente el +, involucra factores como requerimientos de diseño, implementación, interface y requisitos [14], [16]. El modelo MOSCA (modelo sistémico de calidad) enfatiza en la necesidad de evaluar el producto y el proceso de desarrollo. Para la investigación, sólo se tendrá en cuenta el producto, debido a que no se involucra el desarrollo de una aplicación. El producto se evalúa desde seis categorías: funcionalidad, fiabilidad, usabilidad, eficiencia, mantenibilidad y portabilidad, las cuales son valoradas a partir de los aspectos contextuales e internos del producto. Los contextuales aluden a la comodidad del usuario y los internos hacen referencia a las buenas prácticas de diseño y programación. Por las características de la investigación sólo se incluirán las contextuales. En la funcionalidad se incluye el ajuste a los propósitos, la precisión, la interoperabilidad y la seguridad; la fiabilidad involucra la madurez, la tolerancia a fallos y la recuperación; la usabilidad consta de la facilidad de comprensión, la capacidad de aprendizaje, la interfaz gráfica, la operabilidad y el uso de estándares; la eficiencia comprende el comportamiento en el tiempo y la utilización de recurso; la mantenibilidad abarca la capacidad de análisis, facilidad de cambio, estabilidad y capacidad de prueba; finalmente, la portabilidad consta de la adaptabilidad, la capacidad de instalación, la coexistencia y la capacidad de remplazo [17]. Por último, se incluye la familia de normas ISO/IEC 25000, conocida como SQuaRE (Software Product Quality Requirements and Evaluation). Es un modelo centrado en la calidad del producto, que se presenta como la evolución de las normas ISO/IEC 9126y la ISO/IEC 14598. Las categorías que involucra la norma son la funcionalidad (idoneidad,
27 CIIIS 2014
ISSN: 2382-3593
precisión, interoperabilidad, seguridad), fiabilidad (madurez, tolerancia a fallos, capacidad de recuperación), usabilidad (inteligibilidad, facilidad de aprendizaje, capacidad de ser usado, estética de la interfaz de usuario), eficiencia (comportamiento en el tiempo, utilización de recursos), mantenibilidad (analizabilidad, capacidad de ser modificado, estabilidad, capacidad de prueba) y portabilidad (adaptabilidad, facilidad de instalación, coexistencia e intercambiabilidad) [18]. TABLA I COMPARATIVO ENTRE LOS MODELOS DE CALIDAD Modelo de Calidad
Áreas de Evaluación
Operación del producto McCall (1977)
Revisión del producto Transición del producto
Garvin (1984)
Rendimiento Características Confiabilidad Conformidad Durabilidad Capacidad de servicio Estética Calidad percibida Funcionalidad
Usabilidad
Confiabilidad Furps+ (1987) Rendimiento
Capacidad de soporte
Factores que involucra
Exactitud Confiabilidad Eficiencia Integridad Usabilidad Mantenibilidad Capacidad de prueba Flexibilidad Interoperabilidad Portabilidad Reusabilidad Valor al usuario Valor agregado Fallas posibles Cumplimiento normas Vida útil Mantenimiento Apariencia producto Evaluación imagen, publicidad y marca Características Capacidades Seguridad Consistencia interface Ayuda al contexto Asistentes Documentación Materiales para el aprendizaje Frecuencia y severidad de fallas Recuperación ante fallas Tiempo de fallas Velocidad de procesamiento Tiempos de respuesta Consumo de recursos Eficacia Extensibilidad Adaptabilidad Capacidad de prueba Capacidad de configuración Compatibilidad Requisitos de instalación
Funcionalidad
Fiabilidad
Usabilidad
MOSCA (2005)
Eficiencia
Mantenibilidad
Portabilidad
Ajuste a los propósitos Precisión Interoperabilidad Seguridad Madurez Tolerancia a fallos Recuperación Facilidad de comprensión Capacidad de aprendizaje Interfaz gráfica Operabilidad Uso de estándares Comportamiento en el tiempo Utilización de recurso Capacidad de análisis Facilidad de cambio Estabilidad Capacidad de prueba Adaptabilidad Capacidad de instalación Coexistencia Capacidad de remplazo
V. RESULTADOS
A. Dimensiones a Involucrar en la Investigación. Al revisar los antecedentes, el modelo pedagógico institucional para la educación virtual y algunos modelos para la evaluación de calidad de software. Se han definido para la Universidad de Boyacá dimensiones y características que sustentan la evaluación y selección del LMS que ha de soportar la oferta virtual. Las dimensiones definidas son tres: modelo pedagógico, usuario y técnica. A continuación se describen cada una de ellas. La dimensión del modelo pedagógico consiste en la evaluación de las características que pueden beneficiar el proceso enseñanza-aprendizaje, tomando como base el modelo institucional, y de los intereses de la vicerrectoría enmarcados en la inclusión y la cobertura. Las características involucradas en esta dimensión son: inclusión6, en el cual se evalúa la manera en que la herramienta permita ampliar la cobertura a personas con necesidades especiales o personas que no puede desplazarse a procesos de formación presencial; evaluación formativa, se concentra en la evaluación de la manera en que se hace la realimentación durante el proceso enseñanza-aprendizaje, así como 6 Característica involucrada en el principio de accesibilidad de la W3C en la sección “designing for inclusión”[19]
28 CIIIS 2014
ISSN: 2382-3593
los escenarios de coevaluación, heteroevaluación y autoevaluación; evaluación continua, se centra en la forma en que se realiza la evaluación, si es equitativa, clara y permite al educando asumir el proceso sin ambigüedades; y finalmente aprendizaje efectivo que incluye la posibilidad que los educandos personalicen el entorno de trabajo según sus preferencias, las herramientas que fomentan el aprendizaje autónomo, la reflexión y el trabajo colaborativo.
máximo que puede tener una plataforma al evaluar las tres dimensiones es de 50 puntos, y su ponderación se ha hecho de acuerdo a los intereses de la Vicerrectoría de Educación Virtual de la Universidad de Boyacá. Cada dimensión es evaluada a partir de sus características, las cuales fueron ponderadas dependiendo de la importancia que cada una de ellas tiene para la dimensión, según el criterio de los investigadores.
La dimensión del usuario está integrada por: accesibilidad en donde se evalúa la manera en que se presenta la información y la manera en que se controla el acceso a la aplicación; la usabilidad se centra en la evaluación de lo sencillo que puede resultar su uso, la navegabilidad que ofrece y el seguimiento que se puede realizar a las actividades realizadas y pendientes por parte de los usuarios; y herramientas que involucra una evaluación de chat, videoconferencia, audioconferencia, foros, listas de distribución, correo electrónico, wiki, repositorio, blog, anuncios, agenda, construcción de contenidos y administración de usuarios.
La fórmula empleada para calcular el puntaje de cada dimensión se obtiene con la ponderación de cumplimiento de las características divido en el puntaje máximo que pueden sumar estas, multiplicado por el puntaje asignado a la dimensión.
La dimensión técnica implica la evaluación del producto. Las características incluidas son las siguientes: adaptabilidad, interoperabilidad, portabilidad, empaquetamiento, durabilidad, funcionalidad, confiabilidad, reutilización y eficiencia.
(1) Donde Ci hace referencia al porcentaje de cumplimiento de cada una de las características. P i es el puntaje asignado a cada característica. M es el puntaje de la dimensión. Finalmente para calcular el puntaje de la herramienta LMS, se suman los puntajes de cada una de las dimensiones.
(2) TABLA II MODELO DE EVALUACIÓN DE LMS DE LA UNIVERSIDAD DE BOYACÁ Dimensión
Modelo pedagógico (Puntaje 14) Del Usuario (Puntaje 20)
Técnica (Puntaje 16)
Características Inclusión (Puntaje 10) Evaluación formativa (Puntaje 9) Evaluación continua (Puntaje 6) Aprendizaje efectivo (Puntaje 6) Accesibilidad (Puntaje 7) Usabilidad (Puntaje 9) Herramientas (Puntaje 10) Durabilidad (Puntaje 4) Empaquetamiento(Puntaje 2) Confiabilidad (Puntaje 10) Funcionalidad (Puntaje 9) Eficiencia (Puntaje 9) Reutilización (Puntaje 2) Interoperabilidad y portabilidad (Puntaje 10)
En la Tabla I muestra el resumen del modelo de evaluación de LMS de la Universidad de Boyacá, con sus correspondientes ponderaciones. El puntaje
B. LMS Seleccionados para la Investigación. TABLA III LMS CANDIDATAS A INCLUIRSE EN EL ESTUDIO LMS MOODLE CLAROLINE ATUTOR ILIAS DOKEOS SAKAI OLAT BOLINOS CHEF CLOSE ELEDGE FLE3 LONCAPA MANHATTAN LRD DOCEBO EFRONT
Total de Estudios que la Incluyen 8 5 3
2
1
29 CIIIS 2014
ISSN: 2382-3593
Finalmente, la selección de los LMS se realizó al revisar diez estudios entre el año 2003 y el 2012. En el que se involucraron experiencias de España, Croacia, Eslovenia, Venezuela, Costa Rica, Turquía y Arabia Saudita. Luego se estableció una tabla (Tabla II) en donde se listó la cantidad de veces que los LMS fueron incluidos en los estudios. De allí se seleccionaron los tres primeros Moodle, Claroline y Atutor. Junto con la herramienta propietario que actualmente posee la Universidad de Boyacá, y Chamilo LMS que ha tenido un crecimiento significativo en los últimos años. VI. CONCLUSIONES Y TAREAS FUTURAS A. Conclusiones La revisión de antecedentes en los que se involucra la evaluación de LMS muestra como tendencia de los investigadores la revisión de la dimensión técnica y la dimensión del usuario, con lo que se deja de lado el desarrollo que se pueda dar al modelo pedagógico institucional a través del LMS. Por tal motivo se considera que la investigación que se adelanta en estos momentos por el grupo EDUTIC, se convierte en una propuesta de evaluación complementaria. En la que se vinculan tres dimensiones de evaluación para determinar la conveniencia o no del uso de un LMS para soportar la oferta virtual académica de la Universidad de Boyacá. Las dimensiones involucradas en el estudio son la dimensión del modelo pedagógico, la dimensión del usuario, y finalmente, la dimensión técnica. La forma en que ha sido definida la propuesta de evaluación de los LMS, reconoce la injerencia de dos áreas de conocimiento: la primera, la ingeniería del software como soporte teórico para la dimensión del usuario y la dimensión técnica. Con lo que se acepta que parte del proyecto se desenvuelve en un escenario de evaluación de software; y la segunda, conformada por la pedagogía y la didáctica, debido a que el proyecto requiere evaluar la relación enseñanza-aprendizaje, la interacción usuariousuario y usuario-plataforma, con el fin de lograr los objetivos de aprendizaje que se han de ofertar en los cursos virtuales de la Universidad de Boyacá.
La ponderación propuesta en el presente documento responde a las necesidades de la Vicerrectoría de Educación Virtual de la Universidad de Boyacá, identificadas por el grupo de investigación EDUTIC. Por tal motivo se considera que la ponderación de dimensiones y características deben ser ajustadas a los intereses particulares de las organizaciones, sólo de esta manera la selección de un LMS estará acorde con las expectativas de las instituciones educativas. B. Tareas Futuras Al realizar estos primeros pasos, las tareas que deben desarrollarse a futuro son las siguientes: 1) Diseño y validación de los instrumentos de evaluación para cada característica 2) Diseño de un curso virtual y selección de los educandos que participan como testers 3) Preparación de las máquinas virtuales para el montaje de cada una de los LMS 4) Aplicación de los instrumentos 5) Comparación de los resultados obtenidos y selección de la herramienta 6) Pruebas de desempeño en situaciones reales de funcionamiento REFERENCIAS [1] M. Gisbert (2002, feb). El nuevo rol del profesor en entornos tecnológicos. Acción pedagógica [Online]. 11(1), pp. 48-59. Disponible en: http://www.comunidadandina.org/bda/docs/VE-EDU0008.pdf [2] S. Delgado, “Elearning análisis de plataformas gratuitas,” Proyecto de fin de Carrera, Ing. Informática, Universidad de Valencia. España, 2003. [3] J. Itmazi, M. Gea, P. Paderewski y F. Gutiérrez. A comparison and evaluation of open source learning management systems. Presentado en IADIS International Conference – Applied Computing 2005. [Online]. Disponible https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=w eb&cd=1& cad=rja&ved=0CC0QFjAA&url=https%3A%2F%2Fmoodle.org %2Fplugin file.php%2F554%2Fmod_forum%2Fattachment%2F102498%2 FJamil1.pdf &ei=KyOpUtnHLoawqQHDh4FI&usg=AFQjCNFOAtOD5eZZ 8WSiiXfa mvMKmbfPZg [4] K. Fertalj, H. Jerkovic y N. Hlupic. Comparison of e-learning management systems. Presentado en the 5th WSEAS International Conference on EACTIVITIES 2006. [Online]. Disponible en: http://www.zpr.fer.hr/zpr/Portals/0/Predmeti/UIS/Comparison% 20of%20eL MS.pdf
30 CIIIS 2014
ISSN: 2382-3593
en:
[5] M. Chacón-Rivas, y I. Solano. Modelo pedagógico para una plataforma LMS. Presentado en EDUTEC 2009. [Online]. Disponible en: http://digitum.um.es/jspui/bitstream/10201/14625/1/LMS_CS C_edutec_09_ def.pdf [6] C. Aydin, y G. Tirkes. Open source learning management systems in distance learnig. Presentado en TOJET: The Turkish Online Journal of Educational Technology 2010. [Online]. Disponible en: http://www.tojet.net/articles/v9i2/9218.pdf [7] S. Alshomrani (2012, mar). Evaluation of technical factors in distance learning with respect to Open Source LMS. Asian Transactions on Computers [Online]. 2(1), pp. 11-17. Disponible en: http://www.asiantransactions.org/Journals/Vol02Issue01/ATC /ATC-40232015.pdf [8] R. Correal, C. Montañez, J. Torres, V. Avendaño y Y. Ramírez (2009). Educación Virtual. Prácticas transformadoras de los procesos de @prendizaje, pp. 72-89. [9] Advanced Distributed Learning. (2013, may, 14). Choosing a Learning Management System. (Versión 3.0) [Online]. Disponible en: http://www.adlnet.gov/wpcontent/uploads/2013/05/Choosing_an_LMS.pdf [10] A. Brown, J. Johnson. (2007, jul). Five advanteges of using a learning management system. Microburs Learning [Online]. Disponible en: http://microburstlearning.com/articles/Five%20Advantages% 20of%20Usin g%20a%20Learning%20Management%20System.pdf [11] L. Ortíz (2007, jun). Campus Virtual: la educación más allá del LMS. Revista de universidad y sociedad del conocimiento [Online]. 4(1), pp. 1-7. Disponible en: http://www.uoc.edu/rusc/4/1/dt/esp/ortiz.pdf [12] R. López (2012, abr). “LMS” respuesta al aprendizaje del siglo XXI. Revista EducaPR [Online]. 1(1), pp. 1-9. Disponible en: http://www.revistaeducapr.com/uploads/7/0/5/6/7056381/lms.pd f [13] J. Hilera y R. Hoya. (2010). Estándares de e-learning: guía de consulta . Universidad de Alcalá [Online]. Disponible en: http://www.cc.uah.es/hilera/GuiaEstandares.pdf [14] D. Jamwal (2010, dic). Analysis of software quality models for organizations. International Journal of Latest Trends in Computing [Online]. 1(2), pp. 19-23. Disponible en: http://ijltc.excelingtech.co.uk/vol1issue2/04-vol1issue2.pdf [15] O. Pérez y M. Torres, “Propuesta para la obtención del Premio Nacional de Calidad para el grupo COPOLUSA,” Proyecto de fin de Carrera, Admón. De Empresas, Universidad de las Américas Pueba. México, 2003. [16] P. Eeles. (s.f.). Non-functional requeriments. IBM [Online]. Disponible en: http://www.architecting.co.uk/presentations/NFRs.pdf [17] L. Mendoza, M. Pérez y A. Grimán (2005). Prototipo de modelo sistemático de calidad (MOSCA) del software. Computación y sistemas [Online]. 8(3), pp. 196-217. Disponible en: http://www.journals.unam.mx/index.php/cys/article/download/2 691/2252 [18] SQuaRE, ISO/IEC 25000, 2005
[19] W3C (2012). Designing for inclusión. http://www.w3.org/WAI/users/Overview.html
[Online].
31 CIIIS 2014
ISSN: 2382-3593
