Evaluación de coherencia en respuestas generadas por un Chatbot para consulta de legislación y reglamentos

Carlos Manuel Santibáñez Camarillo; Christian Eduardo Millán Hernández; Eduardo Sánchez Soto

Autores/as

Carlos Manuel Santibáñez Camarillo Technological University of the Mixteca https://orcid.org/0000-0001-8687-2202
Christian Eduardo Millán Hernández Technological University of the Mixteca https://orcid.org/0000-0002-8683-7500
Eduardo Sánchez Soto Technological University of the Mixteca https://orcid.org/0000-0002-9254-7657

Palabras clave:

Generación Aumentada por Recuperación, Procesamiento de Lenguaje Natural, BLEU, ROUGE, Perplejidad, Sistema de preguntas y respuestas

Resumen

Los organismos públicos suelen contar con numerosos reglamentos que abarcan diversos ámbitos administrativos y operacionales. Este volumen de documentos puede dificultar que los interesados estén al tanto de todas las normativas, así como la accesibilidad a la información relevante. Para abordar este desafío, se propone un sistema basado en un agente de preguntas y respuestas, para que los usuarios realicen consultas a los reglamentos institucionales. Este sistema utiliza Generación Aumentada por Recuperación (RAG), identificando fragmentos relevantes en los reglamentos, generando respuestas informativas y contextualizadas en tiempo real. En este artículo se propone la evaluación de las respuestas mediante la combinación de las métricas BLEU y ROUGE, para medir la similitud con respuestas de referencia, en adición con Perplexity para cuantificar la coherencia del texto. Los resultados de las consultas realizadas a través del sistema propuesto facilitan el acceso a la normativa y optimizan el tiempo de consulta, propiciando un entorno de trabajo más eficiente y con mejor acceso a la información.

Descargas

Los datos de descargas todavía no están disponibles.

Información de Publicación

Este artículo

Otros artículos

Revisores por pares

Revisores: 2

2.4 promedio

Perfiles de revisores N/D

Declaraciones del autor

Disponibilidad de datos

N/A

16%

Financiamiento externo

No

32% con financiadores

Intereses conflictivos

N/D

11%

Para esta revista

Otras revistas

Artículos aceptados

87%

33%

Días hasta la publicación

182

145

Indexado en

GS

Editor y comité editorial: perfiles
Sociedad académica: N/D
Editora:: Universidad Autónoma del Estado de Hidalgo

Citas

Administración Electrónica. (2022). Chatbots o asistentes virtuales en las administraciones públicas para democratizar el uso de datos abiertos. Recuperado de https://administracionelectronica.gob.es

Cohere. (2024). Empowering AI with Language Models. Recuperado de https://cohere.ai

Copilot.Live. (2024). Chatbots especializados para servicios gubernamentales. Recuperado de https://www.copilot.live

DeepSeek. (2024). DeepSeek: Advanced NLP and RAG integration. Recuperado de https://deepseek.com

El Universal. (2024). Con TEO, un chat virtual, buscan combatir mal servicio y corrupción dentro de la Fiscalía de Oaxaca. El Universal Oaxaca. Recuperado de https://oaxaca.eluniversal.com.mx/estatal/con-teo-un-chat-virtual-buscan-combatir-mal-servicio-y-corrupcion-dentro-de-la-fiscalia-de

Facebook AI. (2021). FAISS: A Library for Efficient Similarity Search. Recuperado de https://github.com/facebookresearch/faiss

Gheorghiu, A. (2024). Building Data-Driven Applications with LlamaIndex: A Practical Guide to Retrieval-Augmented Generation (RAG) to Enhance LLM Applications. Packt Publishing.

Gheorghiu, M. (2024). LlamaIndex: Revolutionizing Information Retrieval with Large Language Models. Recuperado de https://llamaindex.ai

Gobierno de la Ciudad de Buenos Aires. (2024). Caso Boti: Chatbot para la Ciudad de Buenos Aires. Recuperado de https://buenosaires.gob.ar

Greyling, C. (2023). Agents & LLMs: Multihop Question Answering. Medium. Recuperado de https://cobusgreyling.medium.com/agents-llms-multihop-question-answering-ca6521227b6c

Hugging Face. (2022). Transformers for Multilingual Applications. Recuperado de https://huggingface.co

LangChain. (2025). LangChain Documentation. Recuperado de https://www.langchain.com/

Laparra, E. (2024). Retrieval-Augmented Generation para la extracción de información de documentos inteligentes. Recuperado de https://m.riunet.upv.es

LlamaIndex. (2024). LlamaIndex: Documentation. Recuperado de https://docs.llamaindex.ai/

Manning, C. D., & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

OpenAI. (2023). GPT-4: Capabilities and Use Cases. Recuperado de https://openai.com/research/gpt-4

Patel, A. (2023). LLM Evaluation Metrics Explained. Medium. Recuperado de https://medium.com/data-science-in-your-pocket/llm-evaluation-metrics-explained-af14f26536d2

Sentence-Transformers. (2024). paraphrase-multilingual-MiniLM-L12-v2. Hugging Face. Recuperado de https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

Streamlit. (2024). Streamlit Documentation. Recuperado de https://docs.streamlit.io/

Takahashi, S., & Tanaka-Ishii, K. (2019). Evaluating computational language models with scaling properties of natural language.

Universidad Tecnológica de la Mixteca. (n.d.). Legislación universitaria. Recuperado el 11 de noviembre de 2024, de https://www.utm.mx/

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30, 5998–6008.