Recognition of signs from Mexican Sign Language using Machine Learning techniques
Abstract
The use of Artificial Intelligence techniques for the recognition of signs of the Mexican Sign Language through can contribute to improve communication between people who speak this language and those who do not know its meaning. In this article, the performance of Machine Learning models in the recognition of signs was evaluated, for this purpose, four different techniques were used to train and later test the recognition in new signs. Firstly, a data set of images of the dactylological alphabet of the Mexican Sign Language was collected, then this data set was used to train sign image recognition models using four different techniques and later the performance of each model was analyzed in new sign pictures.
Downloads
References
Diario Oficial de La Federación. (2011). Ley General para la Inclusión de las Personas con Discapacidad. Secretaría de Gobernación. https://dof.gob.mx/nota_detalle.php?codigo=5191516&fecha=30/05/2011#gsc.tab=0, fecha de consulta 19 de octubre de 2022.
Cámara de Diputados. (10 de febrero de 2021). Aprueban reformas para que personas con discapacidad auditiva reciban educación bilingüe en lengua de señas. Honorable Cámara de Diputados. https://comunicacionnoticias.diputados.gob.mx/comunicacion/index.php/boletines/aprueban-reformas-para-que-personas-con-discapacidad-auditiva-reciban-educacion-biling-e-en-lengua-de-se-as#gsc.tab=0, fecha de consulta: 19 de octubre de 2022.
Alpaydin, E. (2010). Introduction to machine Learning. The MIT Press. Massachusetts. ISBN 978-0-262-01243
Mejía, K. (2022). Sistema de reconocimiento del Lenguaje de Señas Mexicano basado en una cámara RGB-D y aprendizaje automático. (Tesis inédita de maestría). Universidad Autónoma Querétaro. Querétaro, México.
Trujillo, F., García, G. (2021). Reconocimiento de palabras de la Lengua de Señas Mexicana utilizando información RGBD. RECIBE 10(2). DOI: https://doi.org/10.32870/recibe.v10i2.209
Jin, M., Omar, Z. & Hisham M. (2016). A Mobile Application of American Sign Language Translation via Image Processing Algorithms. 2016 IEEE Region 10 Symposium, DOI: 10.1109/TENCONSpring.2016.7519386
CONADIS. (2016). Lengua de Señas Mexicana (LSM). Gobierno de México. https://www.gob.mx/conadis/articulos/lengua-de-senas-mexicana-lsm?idiom=es#:~:text=La%20Lengua%20de%20Se%C3%B1as%20Mexicana,propia%20sintaxis%2C%20gram%C3%A1tica%20y%20l%C3%A9xico, fecha de consulta: 13 de marzo de 2023.
Calvo, M. T. (2004). Diccionario Español-Lengua de Señas Mexicana (DIELSEME): estudio introductorio. Dirección de Educación Especial: México.
Tang, D. (2019). Empowering novices to understand and use machine learning with personalized image classification models, intuitive analysis tools, and MIT App Inventor. (Thesis, Massachusetts Institute of Technology). https://dspace.mit.edu/handle/1721.1/123130, fecha de consulta: 10 de noviembre de 2022.
Torres, S., García, C., Cabeza, C. y Docío, L. (2020). “LSE_Lex40_UVIGO: Una base de datos específicamente diseñada para el desarrollo de tecnología de reconocimiento automático de LSE”. Revista de Estudios de Lenguas de Signos REVLES, 2: 151-172
Teachable Machine. (2023)- ¿Qué es Teachable Machine? https://teachablemachine.withgoogle.com/
Yolo. (2023). YOLOv5: The friendliest AI architecture you'll ever use. https:// https://ultralytics.com/yolov5.
MediaPipe. (2023). Hand landmarks detection guide. https://developers.google.com/mediapipe/solutions/vision/hand_landmarker
YoloV5. (2023). Yolo V5 Gihutb Repository. https://github.com/ultralytics/yolov5
Copyright (c) 2024 Gabriel A. Salgado Martínez, René Edmundo Cuevas Valencia, Angelino Feliciano Morales, Arnulfo Catalán Villegas
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
