Evaluación de coherencia en respuestas generadas por un Chatbot para consulta de legislación y reglamentos - Santibáñez Camarillo, Carlos Manuel; Millán Hernández, Christian Eduardo; Sánchez Soto, Eduardo (Pädi Boletín Científico de Ciencias Básicas e Ingenierías del ICBI, 2025)
Los organismos públicos suelen contar con numerosos reglamentos que abarcan diversos ámbitos administrativos y operacionales. Este volumen de documentos puede dificultar que los interesados estén al tanto de todas las normativas, así como la accesibilidad a la información relevante. Para abordar este desafío, se propone un sistema basado en un agente de preguntas y respuestas, para que los usuarios realicen consultas a los reglamentos institucionales. Este sistema utiliza Generación Aumentada por Recuperación (RAG), identificando fragmentos relevantes en los reglamentos, generando respuestas informativas y contextualizadas en tiempo real. En este artículo se propone la evaluación de las respuestas mediante la combinación de las métricas BLEU y ROUGE, para medir la similitud con respuestas de referencia, en adición con Perplexity para cuantificar la coherencia del texto. Los resultados de las consultas realizadas a través del sistema propuesto facilitan el acceso a la normativa y optimizan el tiempo de consulta, propiciando un entorno de trabajo más eficiente y con mejor acceso a la información.