Interacción basada en
gestos para mejorar la
ortografía
Gesture Based Interaction for Improving Spelling
Andrea Zúñiga Paredes
Universidad Regional Autónoma de los Andes
Quevedo
http://orcid.org/0000-0002-6231-262X
uq.andreazuniga@uniandes.edu.ec
Manne Rodríguez-Chérrez
Universidad Técnica Estatal de Quevedo
https://orcid.org/0000-0002-4998-3947
manne.rodriguez2013@uteq.edu.ec
Michael Yánez-Moreira
Universidad Técnica Estatal de Quevedo
https://orcid.org/0000-0002-7563-656X
michael.yanez2013@uteq.edu.ec
Byron Buste
https://orcid.org/0000-0001-6071-074X
Universidad Técnica Estatal de Quevedo
byron.buste2013@uteq.edu.ec
Resumen
La interacción basada en gestos sin contacto se
ha utilizado desde ya hace varios años atrás.
Diferentes propuestas se han dado, para la previa
utilización con este tipo de proceso. Se fueron
abordando beneficios, prácticamente enfocados
en el ámbito formativo, para el mejoramiento de la
calidad de la educación. Debido a esto, este
artículo tiene como fundamento emplear este
proceso con fines educativos, con es el caso de la
ortografía. Para el desarrollo del mismo, se llevó a
cabo un estudio inductivo de los participantes con
Esta obra est bajo una Creative Commons
Atribución/Reconocimiento-NoComercial-
CompartirIgual 4.0 Licencia Pública Internacional
— CC BY-NC-SA 4.0
https://creativecommons.org/licenses/by-nc-
sa/4.0/legalcode.es
Ingenio
Enero - Diciembre Vol. 3 Núm. 1 (2020)
https://revistas.uteq.edu.ec/index.php/ingenio
eISSN: 2697-3642
ingenio@uteq.edu.ec
Recepción: 5 de julio 2019
Aprobación: 29 agosto 2019
Pág. 102-113
103
la aplicación. Los resultados obtenidos confirman
la validez de la idea y desarrollo de la propuesta.
Además, los participantes declararon sus
opiniones acerca de la aplicación mediante
interacción sin contacto. Como resultado, la
utilización de este tipo de aplicaciones podría
fomentar al incremento del interés de los
estudiantes en el aprendizaje.
Palabras clave Kinect, ortografía, gestos,
interfaces gestuales
Abstract
Gesture based interaction has been used for several years now. Different proposals have been
given for prior use with this type of process. Benefits were approached, specially focused on
training, for improving the quality of education. Because of this, this article is based on this
process used for educational purposes, with the case of spelling. For its development, an
inductive study of the participants was carried out with the application. The results confirm the
validity of the idea and the development of the proposal. In addition, participants stated their
opinions about the application through contactless interaction. As a result, the use of this type of
applications could encourage an increase in student interest in learning.
Key words: Kinect, orthography, gestures, gestural interfaces.
INTRODUCCIÓN
Hoy en día existen varios problemas en el proceso de aprendizaje que brindan los docentes a
los estudiantes. Por lo tanto, las distinguidas Tecnologías de la información y comunicación
(TIC) aprobaron esta metodología para el apoyo de este proceso, incrementando y mejorando
la calidad de la educación (Vicuña & Erazo, 2016). Teniendo en cuenta que hoy en día los
estudiantes son más activos, de manera que el aprendizaje no solo lo realizan en el aula, sino
también fuera de ella (Vicuña & Erazo, 2016), debido al gran interés de los juegos por parte de
los alumnos y estudiantes en la actualidad, ya sea con computadoras o cualquier dispositivo
que este a su disposición. Por esto, el uso de las TIC permitiría que los estudiantes se sientan
atraídos para poder utilizarlas.
De diferentes formas se ha ido dando el desarrollo de diferentes aplicaciones, mediante la
utilización de diferentes dispositivos orientados a la interacción sin contacto. Tal como se aclara
en el presente artículo, en la sección de “Trabajos relacionados”, donde se puede evidencia
como remotamente se han innovando las tecnologías que se utilizan para la interacción sin
contacto. Hay que añadir la particularidad de este estilo de interacción, que permite brindar un
104
apoyo a los docentes y estudiantes, por ejemplo: controlar una presentación, aprender alguna
asignatura, simular algún tipo de aplicación educativa entre otras. Todo lo mencionado tiene
como propósito realizar una enseñanza-aprendizaje más interactiva y entretenida, tanto para
los docentes como para los estudiantes (Vicuña & Erazo, 2016). En términos generales, este
artículo contribuye al desarrollo de una aplicación acerca de la factibilidad y viabilidad de la
propuesta para el entorno educativo, concentrándose específicamente en el ámbito de la
ortografía.
TRABAJOS RELACIONADOS
Abordando la idea del manejo de gestos que realizan las personas como un medio de
comunicación entre ellas, el uso de éstos para “comunicarse” con computadores ha sido
ampliamente estudiado a través de los años (Vicuña & Erazo, 2016). Los primeros trabajos
que aparecieron consistían en un sistema que pedía el uso de guantes (Baudel & Beaudouin-
Lafon, 1993). No obstante, se dieron avances en visión por computador, con diferentes
dispositivos como MS-Kinect y Leap Motion, que ayudaron a eliminar el contacto físico.
Incluyendo todo lo demás se añadieron mejoras de hardware que facilitaron el desarrollo de
este tipo de aplicaciones. Por lo que gran cantidad de aplicaciones se desarrollaron con este
tipo de enfoque, utilizando el dispositivo de Kinect en el entorno de Scratch, en muchísimos
escenarios (Erazo & Pico, 2014).
Una de las primeras investigaciones que surgieron con esta variabilidad, fue el caso del trabajo
basado en el uso de un robot móvil controlado con Kinect y Scratch, lo cual se utilizó la
plataforma de programación de Arduino para el control de movimientos robóticos (Center for
Digital Education, 2012), en donde el objetivo era ayudar en el aprendizaje de los niños en
diferentes áreas (matemáticas, dibujo etc..). Otro trabajo similar fue el diseño de un juego
mediante Scratch y Kinect. Con el propósito de ayudar a la enseñanza de niños con
discapacidades intelectuales para la seguridad de peatones, mediante varios escenarios
didácticos y prácticos (Chang et.al., 2016). Otra propuesta similar fue el uso de Scratch y
Kinect que se utilizó para incentivar creatividad a los estudiantes, en este caso, en el entorno
de desarrollo de videojuegos, para lo cual se propuso implementarlo con realidad aumentada,
en donde intervendrían los movimientos de todo el cuerpo mediante el uso del dispositivo de
Kinect, (Eduardo & Castillo, 2016).
En cada uno de los diferentes casos o escenarios, el usuario manipula las aplicaciones
mediante el uso de movimientos de su(s) mano(s) sin la necesidad de tener contacto con el
dispositivo (Vicuña & Erazo, 2016). Por lo tanto, se podría decir de manera general, que estos
tipos de aplicaciones podrían mejorar el proceso de aprendizaje y enseñanza por parte de
cualquier persona.
105
De manera similar, varios estudios han facilitado evidencias de la utilidad de la interacción
basada en gestos sin contacto para entornos educativos, (Hsu, 2011). En términos usuales,
este estilo puede facilitar y mejorar el proceso de enseñanza-aprendizaje a razón de
interacciones, debido a que los docentes podrían emplear este tipo de aplicaciones en sus
respectivas clases, o los alumnos pueden utilizarlas como herramientas complementarias
educativas en sus hogares (Vicuña & Erazo, 2016). Debido a que impulsaría a la participación
de diferentes actividades, además de proveer un entorno muy entretenido. Entre los beneficios
de las investigaciones que han sido propuestas se pueden mencionar:
Incentivar la enseñanza en el ámbito educativo. Por ejemplo, en el primer caso, se propone
un medio de enseñanza y aprendizaje de conceptos y funciones como: Suma, Resta,
Multiplicación, además de otras áreas como el dibujo entre otras.
Utilización de una aplicación, que permita ayudar a niños con discapacidades facilitar el
entendimiento de conceptos de seguridad de peatones, mediante diferentes escenarios
prácticos.
Mejorar la creatividad a los alumnos mediante el uso de una aplicación basada en gestos.
Por otra parte, los alumnos pueden utilizar estas ventajas como apoyo para el aprendizaje en
clase. Aunque, generalmente en algunos casos se podría utilizar estas aplicaciones orientadas
al entorno educativo, podrían utilizarse en el mismo hogar. Por la forma del uso, esto podría
generar una mayor usabilidad debido a las limitaciones que podrían existir, como espacio,
tiempo o algún tipo de esfuerzo físico que se requiera, lo que resultaría más adecuado de
utilizar (Vicuña & Erazo, 2016).
EL PROBLEMA DE LA ORTOGRAFÍA
En la actualidad, realizamos gran parte de nuestro trabajo frente a un computador o
escribiendo a gran velocidad en nuestros pequeños teclados virtuales instalados en una gran
variedad de dispositivos digitales; con la presión de responder a e-mails o mensajes de forma
cada vez más rápida. Evidentemente, las consecuencias que eso conlleva son escribir mal las
palabras o, peor aún, que el auto corrector inserte una palabra que no pertenece al contexto de
la oración. Sin embargo en muchas ocasiones, (Chemin, 2014) afirma que, aunque escribir a
mano ya no es tan popular como antes, "sigue teniendo sus ventajas cognitivas sobre escribir
en teclados", (virtuales o físicos).
En cualquiera de los dos escenarios, el problema de la ortografía está presente y, aunque
pensemos que cometer una falta de este tipo mientras escribimos es inofensivo o (incluso)
graciosos, en realidad "es un error que puede hacernos lucir menos inteligentes de lo que
106
somos: crear confusión, falta de coherencia y poca claridad" (Morrison, 2017). En casos
extremos, una falla ortográfica puede provocar que empresas pierdan millones de dólares por
el hecho de "colocar una coma en el lugar que no le correspondía, despedir a cientos de
trabajadores por un error en la letra 's' (HayFestivalQuerétaro, 2017), que un presidente se
equivoque "al escribir una palabra en una red social" (Hunt, 2017) o incluso "hacer que la
policía investigue a un niño por haber escrito 'casa terrorista' (terrorist) en lugar de 'casa
adosada'" (terraced)" (Mundo, 2016).
A consecuencia de estos problemas y de la tecnología (que fomenta espacios para la mala
escritura), ¿podemos decir que la ortografía dejó de ser importante y que ya nos
acostumbramos a escribir mal? En cierta medida sí: gracias a Google Trends
1
podemos saber
todos los años cuáles han sido las palabras que más veces se escribieron (buscaron) de forma
mal escritas, para el año 2017 estas palabras fueron: hermosa (beautiful) y neumonía
(pneumonia), según (Wamsley, 2017).
PROPUESTA
Figura 1. Diagrama de despliegue del sistema
1
Los datos son prevenientes de las búsquedas en Estados Unidos
107
Arquitectura del sistema
Basados en la investigación se considera que el problema de la mala ortografía puede ser
resuelto mediante el desarrollo e implementación de un sistema que incorpore reconocimiento
de gestos e interfaz de natural de usuario apoyándonos en Kinect y Scratch respectivamente.
La figura 1 ilustra la propuesta.
Dispositivo de reconocimiento de gestos
Se ha seleccionado Kinect (el periférico de Microsoft) como el dispositivo para el
reconocimiento de gestos por varias razones. En primer lugar, por su interfaz NUI que detecta
gestos sin necesidad de tener integrado un dispositivo al cuerpo humano siempre y cuando el
usuario se encuentre a la distancia y ubicación recomendada por el dispositivo. Además, el
sensor es capaz de reconocer los gestos no solo de las manos (como otros en el mercado)
sino también los correspondientes a todas las extremidades de nuestra anatomía. Por
supuesto, a futuro se podría también considerar el uso de otro dispositivo con características
similares.
METODOLOGÍA
Algoritmo
Entendemos que no se puede comenzar a realizar un sistema sin antes tener una base lógica
de la cual partir; es por eso que a continuación puede leerse el bloque de pseudocódigo
principal sobre el cual el sistema basa su funcionamiento.
SetUp
Hardware: Tres computadoras personales más el dispositivo de reconocimiento de
gestos: Kinect
Software: Entorno de Desarrollo Integrado (IDE) de Scratch más el programa
controlador de Kinect.
Lugar: Instalaciones de la Facultad de Ciencias de la Ingería de la Universidad Técnica
Estatal de Quevedo, Ecuador.
Procedimiento
El proceso a través del cual se cumplen las tareas implementadas en el sistema de mejora de
ortografía puede verse representado en la figura 3.
108
Figura 2. Pseudocódigo de funcionamiento del sistema
INICIO
Por siempre Guante = posición mano derecha kinect
escenario, aciertos, errores : Enteros
Mientras escenario =0
Muestra el botón inicio
Muestra pantalla de inicio
Si guante toca botón inicio por 2 segundos entonces
Escenario = 1
Fin de Mientras
Mientras escenario =1
Cambiar fondo
Muestra menú de opciones
Si Coloca la tilde entonces escenario =2
Si Uso de la S C Z entonces escenario =3
Si Identifica Graves y agudas entonces escenario =4
Fin de Mientras
Mientras escenario =2
Errores y aciertos = 0
Cambiar fondo
Mostrar palabras sin tildes
Mostrar tilde
Mostrar silabas de palabras sin tilde
Si Guante toca tilde entonces por siempre tilde = posición de Guante
Si Tilde toca silaba correcta entonces aciertos += 1
Caso contrario errores +=1
Si errores + aciertos = 4 entonces
Fin de escenario
Muestra variables errores y aciertos
Muestra palabras corregidas
Fin de Mientras
Mientras escenario =3
Errores y aciertos = 0
Cambiar fondo
Mostrar palabras sin s, c, z
Mostrar S, C, Z
Si Guante toca S, C, Z entonces por siempre S, C, Z = posición de Guante
Si S, C, Z toca palabra correcta entonces aciertos += 1
Caso contrario errores +=1
Si errores + aciertos = 6 entonces
Fin de escenario
Muestra variables errores y aciertos
Muestra palabras corregidas
Fin de Mientras
Mientras escenario =4
Errores y aciertos = 0
Cambiar fondo
Mostrar palabras agudas y graves
Mostrar bote agudas y bote graves
Si Guante toca palabra entonces por siempre palabra = posición de Guante
Si palabra toca bote correcto entonces aciertos += 1
Caso contrario errores +=1
Si errores + aciertos = 6 entonces
Fin de escenario
Muestra variables errores y aciertos
Muestra palabras corregidas
Fin de Mientras
FIN
109
Participantes/Sujetos
16 personas participaron en la evaluación de la propuesta; todos estudiantes universitarios en
condiciones de salud normales. Los sujetos tenían una edad promedio de 20 años.
Figura 3 Diagrama de flujo del sistema
110
RESULTADOS Y DISCUSIÓN
Lo resultados fueron obtenidos mediante la realización del cuestionario “System Usability
Scale” (SUS) por parte de los 16 participantes.
Promedio de puntaje por pregunta
El promedio de puntaje esperado por pregunta es de: 5 para las preguntas impares y 1 para las
pares; en el mejor de los casos esto equivale a un sistema perfecto, lo cual es difícil de
conseguir. No obstante los promedios obtenidos se acercan bastante al esperado como consta
en la tabla 1.
Tabla 1. Promedio de puntaje obtenido por pregunta
Pregunta
Promedio de puntaje
1
4.125
2
2.1875
3
4.375
4
2.500
5
4.0625
6
2.375
7
4.4375
8
2.000
9
4.000
10
1.750
La pregunta número siete -Imagino que muchas personas aprenderían a usar el sistema muy
rápido- fue la mejor calificada de todas con un promedio de 4.43; puntaje que se traduce en
una casi perfecta aceptación por parte de los participantes indicando que el sistema podrían
ser usado si mayores inconvenientes gracias a su interfaz sin contacto.
La pregunta que menos puntaje tuvo, en comparación a las demás fue la novena -sentí mucha
confianza usando el sistema. Esto quizás responda a que para la mayoría de los participantes
fue su primera vez usando una aplicación de interacción sin contacto. En ese sentido, se puede
asumir que ellos no sabían cómo interactuar ante tal interfaz.
En el caso de las preguntas pares (que recordemos, el puntaje esperado aquí es de uno o
aproximado a éste), tenemos que la pregunta 10 –tuve que aprender muchas cosas antes de
usar este sistema- fue la “mejor valorada” con lo cual podemos asumir que, en general, los
111
participantes pudieron usar el sistema sin requerir de conocimiento previo sobre su
funcionamiento. En adición, esto sugiere que la interfaz del sistema es lo suficientemente
intuitiva.
Siguiendo esta línea, la pregunta “peor valorada” dentro de las pares es la cuarta –creo que
necesito ayuda técnica para saber cómo usar el sistema- lo cual se contrasta con la pregunta
nueve anteriormente expuesta. En general, los participantes sí necesitaron de cierta asistencia
por parte de los expositores, en principio por desconocimiento de la tecnología que se empleó.
Puntaje SUS
El puntaje SUS es un valor obtenido en base a las preguntas del cuestionario en la cual el valor
de las preguntas pares es restado con 5 mientras que el de las preguntas pares es restado
con 1, para finalmente este valor resultante ser multiplicado por 2.5.
El valor final debe estar en el rango entre 0 y 100. Al haber obtenido un puntaje promedio de 75
podemos afirmar que el sistema tuvo una buena aceptación en cuanto a usabilidad, comodidad
y críticas recibidas, como se muestra en la tabla 2.
Tabla 2. Promedio de los Puntajes SUS
Cuestionario
Puntaje SUS
promedio
1 - 16
75.469
Preguntas abiertas
Adicionalmente a las diez preguntas cuantitativas, decidimos agregar tres preguntas abiertas
con el propósito de recibir un feedback por parte de los participantes dándoles la oportunidad
de compartir alguna inquietud, consejo o calificación extra.
Las preguntas en cuestión son:
¿Qué le pareció el uso de la tecnología de “interacción sin contacto” para la enseñanza
de la ortografía?
¿Qué fue lo que más y menos le gustó del sistema?
¿Qué características nos recomendaría implementar o mejorar?
Para la pregunta uno (11 en la posición total) las respuestas en general fueron: “Interesante,
novedoso y fcil de utilizar”.
112
En la pregunta dos, el criterio global varió mucho. Dentro de lo que más les gusto a los
participantes fue el “enfoque mismo del sistema (enseñanza de ortografía), interacción
sencilla”, entre otros. Por el contrario, lo que menos les gustó (y aquí sí hay un punto donde
convergen todas las opiniones) es que “el sistema, movimientos o gestos son lentos”. Esto
puede deberse a la precisión del sensor.
Por último, en la pregunta tres los participantes recomiendan, entre otras cosas, que “se mejore
la interfaz grfica”, “abarcar otros temas como matemticas” o que se “implementen funciones
de reconocimiento de voz”.
CONCLUSIONES
El desarrollo de la aplicación para la enseñanza de la ortografía con la ayuda del dispositivo de
reconocimiento de gestos sin contacto (Kinect) obtuvo buenos resultados; bastante buenos en
general. El puntaje SUS de 75.46 se puede considerar aceptable para determinar que el uso de
esta propuesta nos permitirá implementar de manera eficiente este sistema para la enseñanza
de la ortografía.
Adicionalmente se deben realizar mejoras en la interfaz gráfica que permita cometer menos
errores, particularmente relacionados a la precisión del reconocimiento de los gestos, ya que la
imprecisión del Kinect en algunos escenarios fue notable.
REFERENCIAS
A. Vicuña and O. Erazo, “Interacción basada en gestos de dibujos para complementar el
proceso de enseñanza-aprendizaje,” Enfoque UTE, vol. 7, no. 4, pp. 1-- 15, 2016.
T. Baudel and M. Beaudouin-Lafon, “Charade: remote control of objects using free-hand
gestures,” Commun. ACM, vol. 36, no. 7, pp. 28–35, 1993.
O. Erazo and R. Pico, “Interfaces de usuario basadas en gestos manuales sin contacto para la
sala de clases: una revisión bibliogrfica,” Enfoque UTE, vol. 5, no. 4, pp. 34-- 53, 2014.
Center For Digital Education, “Learning Through -------------+Motion: Increasing Student
Engagement and Achievement with Immersive Technology,” 2012.
Y.-J. Chang, Y.-S. Kang, Y.-S. Chang, H.-H. Liu, Y.-L. Chiu, and C. C. Kao, “Designing a
Kinect2Scratch Game to Help Teachers Train Children with Intellectual Disabilities for
Pedestrian Safety,” Proc. 18th Int. ACM SIGACCESS Conf. Comput. Access. - ASSETS
’16, pp. 269–270, 2016.
J. Eduardo and G. Castillo, “kinect y Scratch para la creatividad kinect y Scratch para la
creatividad,” no. July, 2016.
H. J. Hsu, “The potential of Kinect in Education,” Int. J. Inf. Educ. Technol., vol. 1, no. 5, pp.
365–370, 2011.
113
A. Chemin, “Handwriting vs typing: is the pen still mightier than the keyboard?,” Guard., 2014.
L. Morrison, “The true importance of good spelling,” BBC, 2017.
HayFestivalQuerétaro@BBCMundo, “7 casos en los cuales un error de puntuación u ortografía
costaron millones,” BBC MUNDO, vol. 2017.
E. Hunt, “What is covfefe? The tweet by Donald Trump that baffled the internet,” Guard., 2017.
B. Mundo, “El error ortogrfico que hizo que la policía investigara a un niño ‘por terrorismo,’”
BBC MUNDO, 2016.
L. Wamsley, “Misspellings, Mapped: America The How-Do-You-Spell-Beautiful?,” Natl. Public
Radio, 2017.