Método para identificar estados cognitivos a partir de datos multimodales de comportamiento aplicando técnicas de visión artificial y algoritmos de aprendizaje automático supervisado

Palabras clave: Estados Cognitivos, Reconocimiento Facial, UX, Aprendizaje Máquina, Datos Multimodales

Resumen

La inteligencia humana es una cualidad psicológica que abarca la capacidad de aprender de la experiencia, adaptarse a nuevas circunstancias, procesar conceptos abstractos complejos y emplear el conocimiento para interactuar con el entorno y modificarlo. Los estados cognitivos se reflejan en respuestas que influyen en el comportamiento humano, manifestándose a través de expresiones faciales, movimiento corporal y reacciones emocionales ante situaciones que impactan la estabilidad cognitiva. La inclusión de la detección de estados cognitivos durante la evaluación de la experiencia del usuario (UX) representa una oportunidad valiosa para mejorar la eficiencia y calidad de productos o servicios. La estrategia de extracción multimodal incluye la detección de 46 puntos relacionados con movimiento de cabeza, posición de manos y expresiones faciales, se analizaron tres algoritmos de aprendizaje automático supervisado, Random Forest, KNN y SVM. Para el entrenamiento se utilizaron dos data-set de imágenes Cam3D y Pandora, obteniendo una precisión del 98% con Random Forest, 97% con KNN y 95% con SVM, para la detección de tres estados cognitivos atención, concentración y distracción.

Descargas

La descarga de datos todavía no está disponible.

Citas

Ardhendu Behera, P. M. (2020). Associating Facial Expressions and Upper-Body Gestures with Learning Tasks for Enhancing Intelligent Tutoring Systems. International Journal of Artificial Intelligence in Education, 236-270 https://doi.org/10.1007/s40593-020-00195-2.

Ashwin T. S., R. M. (2019). Automatic detection of students’ affective states in classroom environment using hybrid convolutional neural networks. Springer Science+Business Media, Doi : s10639-019-10004-6.

DataScientest. (enero de 2023). https://datascientest.com/es/random-forest-bosque-aleatorio-definicion-y-funcionamiento.
Ekman, P. &. (1978). Facial Action Codign System (FACS). https://doi.org/10.1037/t27734-000.

Francesca D’Erricoa, M. P. (2018). Cognitive Emotions in E-Learning Processes and Their Potential Relationship with Students. International Journal of Emotional Education, 89-111 ISSN 2073-7629.

Gama Velasco, A. (2018). Desarrollo de un Sistema interactivo basado en vision artificial para la rehabilitacion del tobillo. Morelos, Cuernavaca: CENIDET.

H.S Gunavathi, M. e. (2018). Towards Cognitive State Detection Using Facial Expression And Hand-Over-Face Gesture. IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology. Bangalore, India: IEE.

https://datascientest.com/es/que-es-el-algoritmo-knn. (Diciembre de 2022). DataScientest.

https://monkeylearn.com/blog/introduction-to-support-vector-machines-svm/. (junio de 2017). monkeylearn.

https://psy.takelab.fer.hr/datasets/all/pandora/. (s.f.). PSY.TXT.

Hu, G. L. (2018). Deep Multi-Task Learning to Recognise Subtle Facial Expressions of Mental States. Conference on Computer Vision (págs. 106 - 123). European: https://doi.org/10.1007/978-3-030-01258-8_7.

Indhumathi R, G. A. (2019). Emotional Interfaces for Effective E-Reading using Machine Learning Techniques. International Journal of Recent Technology and Engineering (IJRTE), 4443-4449 ISSN: 2277-3878 (Online) DOI:10.35940/ijrte.D8391.118419.

King, D. (2015). dlib C++ Library. Obtenido de www.Dlib.Net

Mahdi Pourmirzaei, G. A. (2021). Customizing an Affective Tutoring System Based on Facial Expression and Head Pose Estimation. Human Computer Interaction Cornell university, 17.

MediaPipe. (2020). Obtenido de https://developers.google.com/mediapipe

MediaPipe. (s.f.). https://developers.google.com/mediapipe/solutions/vision/face_landmarker.

Shan Li, S. P. (2020). Automated Detection of Cognitive Engagement to Inform the Art of Staying Engaged in Problem-solving. Journal Pre-proof, DOI: https://doi.org/10.1016/j.compedu.2020.104114.

Shivalila Hangaragi, T. S. (2023). Face Detection and Recognition Using Face Mesh and Deep Neural Network. Department of Electronics and Communication Engineering, Amrita School of Engineering, Bengaluru, Amrita Vishwa Vidyapeetham, India, 741-723; Doi: 10.1016/j.procs.2023.01.054.

Tzvi Michelson, H. A. (2022). A Peek at Peak Emotion Recognition. https://arxiv.org/abs/2205.09791.

Ullari, J. (2013). Procesos Metacognitivo del Pensamiento Lógico Matemático:Razonamiendo Hipotético. Ecuador: Universidad de Cuenca.

Universidad de Cambridge, R. U. (2011). Corpus 3D de estados mentales complejos espontáneos. (Computación Afectiva e Interacción Inteligente) Obtenido de https://www.cl.cam.ac.uk/research/rainbow/projects/cam3d/.

Valderrama Cárdenas, W. (2019). Reconocimiento automático del rostro para verificación de identidad para evaluación en línea. Tesis de Maestía. Cuernavaca, Morelos., México: CENIDET.
Publicado
2024-01-05
Cómo citar
Toribio, M., González , G., Magadán , A., González , N., & López , M. (2024). Método para identificar estados cognitivos a partir de datos multimodales de comportamiento aplicando técnicas de visión artificial y algoritmos de aprendizaje automático supervisado. XIKUA Boletín Científico De La Escuela Superior De Tlahuelilpan, 12(23), 48-55. https://doi.org/10.29057/xikua.v12i23.11795