46
Interacción basada en gestos
para complementar el
aprendizaje de ortografía
Gesture-based interaction to complement
spelling learning
Sandra Alvarado
Universidad Técnica Estatal de Quevedo
https://orcid.org/0000-0002-3851-5531
sandrarfel.alvarado@uteq.edu.ec
Ramón Cedeño
Universidad Técnica Estatal de Quevedo
https://orcid.org/0000-0002-8771-3382
ramon.cedeno2013@uteq.edu.ec
Andrea Zúñiga Paredes
Universidad Regional Autónoma de los Andes
Quevedo
http://orcid.org/0000-0002-6231-262X
uq.andreazuniga@uniandes.edu.ec
Resumen
Dado que hoy en día la ortografía es un problema
que no se resuelve con el paso del tiempo y el
avance de la tecnología en la creación de
dispositivos, este problema aumenta cada día más,
y esto ocurre principalmente en el uso de
dispositivos como teléfonos, computadoras
portátiles por parte de los jóvenes para navegar y
chatear en las redes sociales, siendo un obstáculo,
o en el chat o los comentarios de estos para ganar
para responder rápidamente a un mensaje que
hacen sin verificar si las palabras están bien escritas
o no. Por esto, se realizó una aplicación de
interacción basada en gestos para complementar el
aprendizaje de la ortografía, donde se evaluó a
estudiantes entre 20 y 23 años, obteniendo como
resultado que esta técnica era muy buena para el
Esta obra est bajo una Creative Commons
Atribución/Reconocimiento-NoComercial-
CompartirIgual 4.0 Licencia Pública Internacional
— CC BY-NC-SA 4.0
https://creativecommons.org/licenses/by-nc-
sa/4.0/legalcode.es
Ingenio
Enero - Diciembre Vol. 2 Núm. 1 (2019)
https://revistas.uteq.edu.ec/index.php/ingenio
eISSN: 2697-3642
ingenio@uteq.edu.ec
Recepción: 14 de junio 2018
Aprobación: 3 septiembre 2018
Pag 46-54
47
aprendizaje de la ortografía de acuerdo a la opinión
de los participantes. Así, la propuesta fue una
manera fácil, interactiva y divertida de aprender
sobre el tema.
Palabras clave: Leap Motion; interacción gestual; ortografía.
ABSTRACT
Given that today spelling is a problem that is not solved with the passage of time and the advance of
technology in the creation of devices, this problem increases every day more, and this happens mostly in
young people use of devices such as phones, laptops to surf and chat on social networks, be an obstacle, or
in the chat or comments of these to gain more or less to respond quickly to a message they do without
verifying if the words are well written or not. With this, an application of interaction based on gestures was
made to complement the learning of spelling, where students between 20 and 23 years old were evaluated,
obtaining as a result that this technique was very good for the learning of the spelling and that by the opinion
of the participants. Thus, the proposal was an easy, interactive and funny way to learn about the subject.
Keywords: Lead Motion; Gesture Interaction; Orthography
INTRODUCCIÓN
Hablar y escribir es un tema que hoy en día es muy interesante por muchos, sobre todo cuando nos
encontramos con textos casi ilegibles por los errores ortográficos; o peor aun cuando somos nosotros
mismos quienes nos encontramos en dificultades en el momento de escribir cualquier texto y no sabemos
con qué letra se escribe determinada palabra, para ello se han desarrollado aplicaciones que ayudan en
este ámbito haciendo uso de nuevos dispositivos.
La expansión de nuevos dispositivos cada día es mayor. Existen dispositivos para diferentes fines, una
parte de aquellos está destinado a la detección de movimientos del cuerpo humano.
Los gestos manuales están siendo apoyados por la interacción y esto ha experimentado importantes
avances en los últimos años. Ha sido llevado a una ampliación en el uso de interfaces basadas en gestos
formados con la mano. La utilidad de estas aplicaciones ha sido aprovechada en varios ámbitos, siento el
ambiente educativo uno de ellos (Erazo & Pico, 2014; Vicuña & Erazo, 2016). Sin embargo, hay muchas
aplicaciones donde intervienen el uso de señas con la mano.
El trabajo presente se basa en investigaciones realizadas con dispositivos tecnológicos; consiste en
desarrollar una aplicación que ayude a personas a, mantener una mejor ortografía con la utilización de
dispositivos actuales como Leap Motion. Para ello, se realizará un estudio en donde participantes
interactuaran con la aplicación a desarrollar.
Si tomamos en cuenta que las personas utilizan lenguaje de señas y gestos para comunicarse entre ellas,
¿por qué no estudiar el uso de este lenguaje para la comunicación con los computadores? Efectivamente, el
uso de gestos como una forma de interacción con computadores ha sido estudiado desde hace muchos
48
años atrás. Sin embargo, en años recientes ha cobrado mayor relevancia especialmente gracias al
desarrollo de nuevos dispositivos que facilitan el desarrollo de aplicaciones de este tipo.
Entre los dispositivos que han contribuido a la proliferación de aplicaciones basadas en gestos se
encuentran MS-Kinnect, Leap Motion y MyO. Estos dispositivos han sido utilizados en diferentes áreas que
van más allá del entretenimiento (Wachs, Kölsch, Stern, & Edan, 2011). Así por ejemplo existe una cantidad
importante de investigaciones que muestran la utilidad de aplicaciones basadas en gestos en el ámbito
educativo (Vazquez Cano & Ferrer Delgado, 2015; Luzuriaga, 2017; Erazo & Pico, 2014; Vicuña & Erazo,
2016), museos (Mehler, Lücking, & Abrami, 2014), video juegos (García de la Calle, 2015), entre otros. En
todos estos trabajos el usuario, mediante movimientos de sus manos, controla las aplicaciones
correspondientes. Además, las personas pueden emplear aplicaciones de este tipo en las escuelas,
colegios e incluso en cualquier momento sin estar precisamente estudiando. Las aplicaciones pueden
ayudar a aumentar la contribución de los estudiantes, facilitando de alguna manera la manipulación de
material didáctico educativo incluso ayudaría a crear una clase interactiva, interesante y entretenida (Hsu,
2011).
Los gestos son utilizados por los seres humanos como una forma de comunicación entre ellos. La forma de
comunicación entre las personas es un problema a la hora de entablar una conversación tanto de manera
escrita u oral y el desarrollo de una aplicación que utilice dispositivos actuales sería algo innovador. En
definitiva, esta forma de interacción permite de algún modo proveer y optimizar el proceso en varias áreas
porque provee interacciones ms intuitivas y quiz “naturales”.
Para las interacciones podrían utilizarse varias partes del cuerpo, pero la principal parte del cuerpo que se
suele utilizar para las interacciones sin contacto son las manos. En diferentes posibilidades la utilización de
la mirada, voz, pies también puede mencionarse así mismo la utilización de varias partes del cuerpo a la
misma vez.
Las manos al ser utilizadas en este tipo de interacciones pueden ser elegidas por diferentes enfoques. Un
enfoque seria utilizar únicamente posiciones de las manos para realizar alguna acción. Por ejemplo, imagine
un juego en el que sujeta un vaso con su mano y debe moverlo de un lugar a otro para atrapar gotas de
agua que están cayendo (Erazo, Pino, Pino, & Fernández, 2014). Este es solo un ejemplo de muchos que
ya se encuentran implementados o a su vez se encuentran como idea de algunos investigadores. De aquí
parte la idea de utilizar la interacción gestual para ayudar de alguna forma al aprendizaje de normas
ortográficas.
Dentro de los métodos para el apoyo del aprendizaje en ortografía se han desarrollado algunos como es el
inicio de alfabetización en personas adultas que no han culminado la escuela (Moya), que fue una manera
de eliminar gran parte la mala ortografía en las personas, por otra parte haciendo uso ya de la tecnología
llevó a un grupo de investigadores a la construcción de un diccionario de castellano basado en el programa
de libre distribución ispell (Lopez, Rodriguez, & Carretero). Similar a este se realizó un software didáctico
llamado “El taller de las palabras”, que ayudaba ejercitar la ortografía desde palabras sencillas hasta
palabras complejas, el rango de palabras estaba manejado en el vocabulario de etapa evolutiva de un niño
o niña de 6to nivel de primaria no antes ni después, el software era utilizado en una escuela donde los
49
docentes evaluaban a los estudiantes y a su vez obtenían un informe de las evaluaciones dadas
(Cervantes, 2004). Estos son algunos de los trabajos que complementan el aprendizaje en la orografía y se
espera que en el futuro haya muchos más.
MATERIALES Y MÉTODOS
En el siguiente apartado se detalla el estudio realizado con el fin de analizar la utilización de gestos como
una forma de interacción para complementar el aprendizaje de ortografía en las personas. De manera
general, el estudio realizado en un ambiente tranquilo y amplió, radicó en ejecutar gestos para interactuar
con la aplicación desarrollada. Permitiendo recoger datos cuantitativos para la verificación de la respuesta.
Cada uno de los detalles del estudio será explicado a continuación.
Primero, se procedió al desarrollo del software que se utilizó como objeto de estudio (Figura 1). La
aplicación consistió en hacer preguntas por diferentes niveles, donde el usuario respondería con gestos de
las manos. La ventaja de este punto de vista ha sido analizada y demostrada previamente y además puede
ser aplicada en cualquier área desde nuestra perspectiva. La aplicación constaba de tres niveles y mostraba
una pregunta a la vez, donde el primer nivel consistía en el uso de la tilde; había que colocar las palabras
correctas e incorrectas en el recipiente asignado. El segundo nivel del uso de letras en particular donde
había que colocar, usando la mano, la letra que hacía falta según corresponda (c, s, z, v, b). El tercer nivel
hacía referencia a la utilización de hiato, triptongo y diptongo. En este nivel las personas tenían que colocar
las palabras en el grupo que correspondía. Cabe recalcar que todas las respuestas en los niveles
correspondientes eran ingresadas por los participantes en forma de gestos arrastrando la opción correcta
donde corresponda; el avance a cada nivel era realizando correctamente la prueba y al mismo tiempo iba
aumentando y disminuyendo el puntaje según la opción correcta e incorrecta.
Figura 1. Capturas de pantalla del software utilizado en el estudio
50
El espacio de interacción (Erazo, Baloian, Pino, & Ochoa, 2017) definido con la finalidad de facilitar la
interacción se muestra en la Figura 2.
Figura 2. Configuración utilizada en el estudio
El hardware manejado (Figura 2) consistió en un computador donde se realizó la ejecución de la aplicación
antes descrita, y en un sensor Leap Motion. Se construyó la aplicación empleando Leap Motion y de su SDK
para Windows, para realizar el seguimiento de las manos y dedos mediante las coordenadas obtenidas en
tres dimensiones y la creación del ambiente. El Leap Motion fue colocado aproximadamente a un metro de
altura sobre una mesa a unos 30 cm del computador.
Diecisiete estudiantes de la Universidad Técnica Estatal de Quevedo, Ecuador, aceptaron participar
voluntariamente en el estudio. Las edades estaban comprendidas entre 20 y 23 años.
Todas estas personas se encontraban cursando la Carrera de Ingeniería en Sistemas; ocho de ellos sexto
semestre, siete de ellos séptimo semestre y los otros dos del noveno semestre, todos ellos al momento de
realizar el estudio, por lo que eran usuarios habituales de computadores. Ninguno de ellos recibió
compensación alguna por su participación.
Durante el estudio se recogieron datos cuantitativos como cualitativos. Estos datos fueron recogidos de
diferentes formas, según se detalla a continuación:
51
Puntaje: La aplicación fue desarrollada de manera que el nivel sea completado correctamente y así
poder pasar al siguiente.
Errores: Se contaron los errores de las veces en las cuales la aplicación no pudo ser capaz de
reconocer el gesto ingresado por el participante.
Cuestionario: Cada participante luego de concluir la prueba completó un cuestionario de diez
preguntas. El cuestionario constó de dos tipos de preguntas. Las primeras siete, que debían responderse
usando una escala de 1 (extremadamente bajo) a 5 (extremadamente alto) las cuales describían el aprieto
de aprendizaje, impotencia, comodidad y dificultad de cumplir la tarea. Las otras tres preguntas daba a los
participantes opinar de forma deliberada sobre problemas experimentados y sugerencias para mejorar la
aplicación.
El estudio dio inicio con una descripción breve de la aplicación y con la participación de los estudiantes
luego de ser informados. Después los participantes recibieron detalladamente las instrucciones
correspondientes de cómo realizar la tarea. Las instrucciones mostraban también la forma de iniciar y
terminar la respuesta a cada pregunta en cada nivel.
Luego de adoptar las instrucciones cada participante se ubicó de pie, aproximadamente a 75cm de la
pantalla. Desde ahí resolvió cada una de las propuestas que fueron mostradas una por una
secuencialmente. Las preguntas fueron elaboradas en base al contenido sobre la ortografía. Cada
participante respondió un total de tres preguntas realizando el gesto correspondiente.
RESULTADOS
Los resultados mostrados en este apartado se obtuvieron con un total de 17 personas que hicieron uso de
la aplicación, donde se evaluó como sería la utilización del sistema con frecuencia, la complejidad del
sistema, facilidad de uso, si era necesario el apoyo técnico para su manejo, necesidad de instrucciones
antes de utilizar el sistemas, esas fueran algunas de las preguntas que se tomaron en consideración para
saber cómo fue la acogida por los participantes.
Como eran 7 preguntas se optó por sacar la mediana entre las respuestas y así poder obtener un promedio
global. También cada vez que un participante nuevo hacía uso de la aplicación se tomaba nota de los
errores que daba el dispositivo al realizar gestos, ya que pasado un tiempo este se calentaba y los gestos
eran tardíos al mostrarse en el computador. El análisis detallado también indicó que no hubo contradicción
significativa por el sexo de la persona.
El 5% de las personas dijeron que tanto el apoyo técnico para la utilización del sistema como la necesidad
de recibir instrucciones era necesarios para hacer uso de la aplicación. Así mismo el 19% de las personas
les gustaría usar este sistema con frecuencia. Por otra parte el 24% de las personas indicaron que antes del
uso del sistema pensaban que este era fácil de utilizar. Asimismo otro 24% expresó que una vez que utilicen
las personas el sistema por primera ocasión este ya será fácil de utilizar en las siguientes pruebas, mientras
un 9% de personas pensaron que había demasiada inconsistencia en el sistema.
52
Sin embargo de manera general los partícipes indicaron positivamente las preguntas abiertas; en las
preguntas cerradas hay opiniones que son importantes para la mejora del sistema, de forma general se
detallan a continuación:
De los diecisiete participantes, dieciséis mencionaron que los temas empleados en la aplicación son de
mucha ayuda para aprender la ortografía, mientras que un participante menciono que hacía falta más
niveles donde se podría haber colocado otros temas donde las personas tienen errores ortográficos.
De los diecisiete participantes, nueve de ellos mencionó que sería muy novedoso orientar este tipo de
aplicación no a ortografía sino a matemáticas; cinco optaron por opinar sobre el mismo tema de
ortografía agregando el uso de consonantes, separación de silabas entre otros, y dos de los
participantes opinaron que les hubiera gustado que la aplicación esté orientada a la geografía.
Todos los participantes expresaron su experiencia con el uso del sistema, donde la tarea les pareció
muy novedosa, divertida y fácil de utilizar.
DISCUSIÓN
Los resultados mencionados en la sección anterior confirman que la propuesta de utilizar aplicaciones
basadas en gestos es factible. Por lo tanto, es necesario indicar algunos aspectos anexos al diseño de este
tipo y las formas de darles uso.
Primero, el rendimiento de cada usuario puede reducir o aumentar acatando algunas condiciones. En este
estudio se le indicó al usuario cómo colocarse frente a la aplicación, pero en realidad este puede adoptar la
posición que desee. Esto también podría influir en el agotamiento de algunas partes del cuerpo. Otro
aspecto es que podría incrementar el agotamiento así como también errores al momento de realizar los
gestos. En el estudio también se pudo observar ciertas molestias de los participantes al momento de que el
dispositivo Leap Motion no detectaba bien la mano y se les hacía difícil tomar las palabras, esto se
solucionó indicando la manera de posicionar la mano encima del dispositivo.
Por otra parte el estudio fue cumplido en un ambiente de aula de clases, pero se puede deducir que el modo
de interacción presentado podría utilizarse para mejorar el proceso de enseñanza y aprendizaje
apropiadamente en el hogar. En primer lugar, la aplicación empleada encerró interrogaciones de un área
específica, pero esto no quiere decir que sea para una sola área, también podría ser de utilidad en otras
simplemente cambiando las preguntas y respuestas (ver por ejemplo (Vicuña & Erazo, 2016)).
Realmente la aplicación puede ser mejorada hasta el punto de que si se aplica en un ambiente educativo
este ayude al docente a gestionar sus propias preguntas y respuestas, así también incorporando otras
opciones adicionales como el tiempo en que termina de realizar cada nivel, gestos utilizados por el
participante para responder, etc.
Por el contrario, el mismo software podría ser empleado para mejorar el aprendizaje pero desde el hogar.
Un ejemplo podría ser que el estudiante practique el tema relacionado al recibido en clases (similar a lo
sugerido en (Vicuña & Erazo, 2016)).
53
En definitiva, la aplicación desarrollada en este estudio es solo un ejemplo que se puede dar a los gestos en
áreas educativas.
CONLUSIONES
Si tomamos en cuenta que existe una gran cantidad de trabajos donde se han reportado beneficios de las
interfaces basadas en gestos para complementar el aprendizaje de ortografía, este articulo aborda tipos de
gestos que han sido estudiados pero no suficiente: gestos en el aire. Evidentemente, los resultados del
estudio elaborado reafirman el provecho de este tipo de gestos con fines educativos de acuerdo a las
métricas manejadas y las opiniones de los partícipes.
El rendimiento aprobado al realizar los gestos se complementa con una cantidad pequeña de errores. Este
aspecto es notable especialmente porque todos los participantes realizaban este tipo de gestos por primera
vez. Además estos errores si se comparan con los beneficios no son relevantes y se podrían corregir con la
práctica.
De manera análoga, los resultados conseguidos en el cuestionario concluyen lo deducido a partir de las
métricas. Según la opinión de los participantes, los gestos utilizados fueron fáciles y se sintieron confiados
al realizarlos y no hubo cansancio significativo. Además la mayoría de ellos indicó haber tenido una gran
experiencia. Todo esto permite concluir que los gestos son acogidos por los estudiantes y esto podría
ayudar a complementar el proceso de enseñanza al momento de realizar tareas.
En último lugar, respecto al diseño de la aplicación, y los usos que se hagan de la misma pueden
considerarse en investigaciones que se realicen a futuro. También podrían abordar otros aspectos como
contar con participantes niños, en una clase normal. Tanto los resultados obtenidos en este estudio como
los de otros trabajos futuros deberían orientarse a mejores aplicaciones basadas en gestos que ayuden a
complementar el aprendizaje.
REFERENCIAS
Cervantes, D. (2004). Propuesta de software didactico para ejercitar la ortografia en la escuela
primaria. México.
Erazo, O., & Pico, R. (2014). Interfaces de usuario basadas en gestos manuales sin contacto
para la sala de clases: una revisión bibliográfica. Enfoque UTE, 5(4), 34-53.
Erazo, O., Baloian, N., Pino, J. A., & Ochoa, S. F. (2017). Designing hand gesture interfaces for
easing students participation from their spot. 2017 IEEE 21st International Conference
on Computer Supported Cooperative Work in Design (CSCWD).
54
Erazo, O., Pino, J. A., Pino, R., & Fernández, C. (2014). Magic Mirror for Neurorehabilitation of
People with Upper Limb Dysfunction Using Kinect. En IEEE (Ed.), Proc. IEEE 47th Hawaii
International Conference on System Sciences, 2607-2615.
García de la Calle, J. (2015). Nuevas formas de interacción gráfica con videojuegos: utilización
de Leap Motion y Oculus RIFT. Madrid: Universidad Carlos III de Madrid Repositorio
institucional e-Archivo.
Hsu, H. M. (2011). The potential of kinect in education. International Journal of Information
and Education Technology, 1(5), 365-370.
Lopez, M., Rodriguez, S., & Carretero, J. (s.f.). Herramientas ortográficas de libre distribución
para la lengua castellana. Depto. de Arquitectura y Tecnología de Sistemas
Informáticos(1), 1-11.
Luzuriaga, A. F. (2017). “Desarrollo de una aplicación con leap motion como herramienta de
soporte educativo en la Unidad Educativa Juan Francisco Yerovi, Pueblo Viejo –Alausí”.
Riobamba.
Mehler, A., Lücking, A., & Abrami, G. (2014). WikiNect: Image schemata as a basis of gestural
writing for kinetic museum wikis. Universal Access in the Information Society, 3(14),
333-349.
Moya, R. (s.f.). Educación Bilingüe En El Ecuador: Retos Y Alternativas. Indiana(11), 387-406.
Vazquez Cano, E., & Ferrer Delgado, D. (2015). La creación de videojuegos con scratch en
educación secundaria. Communication Papers - Media Literacy & Gender Studies, 4(6),
63-73.
Vicuña, A., & Erazo, O. (2016). Interacción basada en gestos de dibujos para complementar el
proceso de enseñanza-aprendizaje. Enfoque UTE, 7(4), 1-15.
Wachs, J. P., Kölsch, M., Stern, H., & Edan, Y. (2011). Vision-Based Hand-Gesture
Applications. Communications of the ACM, 54(2), 60-71.
