Natural Language Processing, Trasnformers and Chatbots: some overview

Keywords: Transformer, Attention Networks, ChatBots, Machine Learning, NLP

Abstract

In the present investigation, a description of the Transformer architecture is carried out, emphasizing the most important functional blocks with which these models went from using serial processing and training of recurrent neural networks to parallel processing, thus improving response times and increased processing capacity; that is to say, the Transformers meant a notable evolution in the PLN Natural Language Processing. These achievements were obtained through the use of attention mechanisms and referencing the positions of the words of the inputs, an aspect that facilitated the models to manage a long-term 'memory'; feature, which was a limitation of the old models. In addition, the uses that are currently being given to this architecture and that are not linked to natural language processing (Chatbots) are highlighted, as is the case in the area of cybersecurity with the use of the SecGPT Bot, among others. development and application areas.

Downloads

Download data is not yet available.

References

Procesamiento de lenguajes naturales [Internet]. Wikipedia 2023[Consultada en abril de 2023] Disponible en: https://es.wikipedia.org/wiki/Procesamiento_de_lenguajes_naturales.

¿Qué es una red neuronal? [Internet]. AWS 2023[Consultada en enero 2023] Disponible en: https://aws.amazon.com/es/what-is/neural-network/

Bot conversacional [Internet]. Wikipedia 2023 [Consultada en enero 2023] Disponible en: htps://es.wikipedia.org/wiki/Bot_conversacional

¿Qué es un chatbot? [Internet]. OCI Oracle Cloud 2023 [Consultada en febrero 2023] Disponible en: https://www.oracle.com/co/chatbots/what-is-a-chatbot/

Aprende Machine Learning [Internet]. Utiliza el poder de los LLMs 2023 [Consultada en enero 2023] Disponible en: https://www.aprendemachinelearning.com/como-funcionan -los-transformers-espanol-nlp-gpt-bert/

¿Qué es un Modelo Transformer? [Internet]. NVIDIA 2023 [Consultada en enero 2023] Disponible en: https://la.blogs.nvidia.com/2022/04/19/que-es-un-modelo-transformer/

Computación paralela [Internet]. Wikipedia 2023 [Consultada en enero 2023] Disponible en: ttps://es.wikipedia.org/wiki/Computaci%C3%B3n_paralela

GPUs el futuro de la computación [Internet]. Janus Henderson 2023 [Consultada en enero 2023] Disponible en: https://www.janushenderson.com/es-es/investor /article/ gpus-ware-driving-the-future-of-computing/

Wolfram Language es un lenguaje simbólico [Internet]. Wolfranm Computation Meet knowledge 2023 Consultada en febrero 2023] Disponible en: https://www.wolfram.com/language/

Telefónica Tech [Internet]. Telefónica 2023 [Consultada en marzo 2023] Disponible en:https://telefonicatech.com/blog/

Bots conversacionales [Internet]. Planeta Chatbot 2023 [Consultada en febreo 2023] Disponible en:https://planetachatbot.com/tensores-son-todo-lo-que-necesitas/

Aprendizaje automático [Internet]. Wikipedia 2023 [Consultada en enero 2023] Disponible en:https://es.wikipedia.org/wiki/Aprendizaje_automatico

Blog de Programación y Tecnología [Internet]. Keepcoding 2023 [Consultada en marzo 2023] Disponible en: https://keepcoding.io/blog/

Mecanismo de atención en aprendizaje profundo [Internet]. HashDork 2023 [Consultada en abril 2023] Disponible en: https://hashdork.com/es/attention-mechanism-in-deep-learning/

Vaswani, Ashish. Shazeer, Noam, et al. Attention Is All You Need. Google 2017.

¿Cómo funcionan los Transformers? [Internet]. Aprende Machine Learning 2023 [Consultada en enero 2023] Disponible en: https://www.aprendemachinelearning.com/como-funcionan-los-transformers-espanol-nlp-gpt-bert/

Redes Transformer (... o el fin de las Redes Recurrentes) [Internet]. Codificandobits 2023 [Consultada en abril 2023] Disponible en:https://www.codificandobits.com/blog/redes-transformer/

Redes Transformer [Internet]. Codificandobits 2023 [Consultada en enero 2023] Disponible en:https://www.youtube.com/watch?v=Wp8NocXW_C4

Artificial Intelligence [Internet]. Cornell University 2023 [Consultada en enero 2023] Disponible en:https://arxiv.org/

Modelos Transformers [Internet]. NVIDIA 2023 [Consultada en enero 2023] Disponible en: https://la.blogs.nvidia.com/2022/04/19/que-es-un-modelo-transformer/

Mecanismo de atención en aprendizaje profundo [Internet]. HashDork 2023 [Consultada en enero 2023] Disponible en: https://hashdork.com/es/attention-mechanism-in-deep-learning/

Traducción automática [Internet]. Ibidengroup 2023 [Consultada en enero 2023] Disponible en: https://www.ibidemgroup.com/edu/traduccion-automatica-gpt3-bert-t5/#:~:text=Un%20 Transformer%20es%20un %20tipo,para%20diferentes%20tipos%20de%20datos.

¿Qué Es El Mecanismo De Atención? [Internet]. Hash Dork 2023 [Consultada en enero 2023] Disponible en:https://hashdork.com/es/attention-mechanism-in-deep-learning/

Las matemáticas del machine learning [Internet]. Telefónica 2023 [Consultada en Mayo 2023] Disponible en:https://telefonicatech.com/blog/las-matematicas-del-machi ne -learning-funciones-de-activacion

ChatGPT [Internet]. OpenIA 2023 [Consultada en enero 2023] Disponible en: https://chat.openai.com/chat

SegGPT [Internet]. Huggin Face 2023 [Consultada en mayo 2023] Disponible en: https://hayunaiaparaeso.com/ia/alter-ai-secgpt/

SecGPT transforms cybersecurity through AI-driven insights. [Internet]. Medium 2023 [Consultada en enero 2023] Disponible en: https://infosecwriteups.com/secgpt-transforms-cybersecurity-through-ai-driven-insights-c5074c90bee1

La inteligencia artificial está revolucionando la ciberseguridad [Internet]. ZOE 2023 [Consultada en enero 2023] Disponible en: htps://zoeweb.es/secgpt-la-inteligencia-artificial-que-esta-revolucionando-la-ciberseguridad/

Guía completa de chatbots de IA [Internet]. Zendesk 2023 [Consultada en mayo 2023] Disponible en: https://www.zendesk.com.mx/service/messaging/chatbot/

Build Applications With Generative AI [Internet]. Nvidia Developer 2023 [Consultada en abril 2023] Disponible en:https://developer.nvidia.com/megatron-turing-natural-language-generation

Los mejores chabots para la web [Internet]. Bloo Mmedia 2023 [Consultada en enero 2023] Disponible en: https://bloo.media/blog/mejores-herramientas-chatbot/

Inteligencia Artificial Para la Ciberseguridad [Internet]. David Pereira 2023 [Consultada en marzo 2023] Disponible en: https://www.youtube.com/watch?v=sH05p8paBOY atención

Noam Chomsky sobre ChatGPT [Internet]. Rebelión 2023 [Consultada en junio 2023]. C J Polychroniou Disponible en: https://rebelion.org/noam-chomsky-sobre-chatgpt/

Published
2024-07-05
How to Cite
Fúquene Ardila, H. J. (2024). Natural Language Processing, Trasnformers and Chatbots: some overview. XIKUA Boletín Científico De La Escuela Superior De Tlahuelilpan, 12(Especial), 151-160. https://doi.org/10.29057/xikua.v12iEspecial.12904