Natural Language Processing, Trasnformers and Chatbots: some overview
Abstract
In the present investigation, a description of the Transformer architecture is carried out, emphasizing the most important functional blocks with which these models went from using serial processing and training of recurrent neural networks to parallel processing, thus improving response times and increased processing capacity; that is to say, the Transformers meant a notable evolution in the PLN Natural Language Processing. These achievements were obtained through the use of attention mechanisms and referencing the positions of the words of the inputs, an aspect that facilitated the models to manage a long-term 'memory'; feature, which was a limitation of the old models. In addition, the uses that are currently being given to this architecture and that are not linked to natural language processing (Chatbots) are highlighted, as is the case in the area of cybersecurity with the use of the SecGPT Bot, among others. development and application areas.
Downloads
References
Procesamiento de lenguajes naturales [Internet]. Wikipedia 2023[Consultada en abril de 2023] Disponible en: https://es.wikipedia.org/wiki/Procesamiento_de_lenguajes_naturales.
¿Qué es una red neuronal? [Internet]. AWS 2023[Consultada en enero 2023] Disponible en: https://aws.amazon.com/es/what-is/neural-network/
Bot conversacional [Internet]. Wikipedia 2023 [Consultada en enero 2023] Disponible en: htps://es.wikipedia.org/wiki/Bot_conversacional
¿Qué es un chatbot? [Internet]. OCI Oracle Cloud 2023 [Consultada en febrero 2023] Disponible en: https://www.oracle.com/co/chatbots/what-is-a-chatbot/
Aprende Machine Learning [Internet]. Utiliza el poder de los LLMs 2023 [Consultada en enero 2023] Disponible en: https://www.aprendemachinelearning.com/como-funcionan -los-transformers-espanol-nlp-gpt-bert/
¿Qué es un Modelo Transformer? [Internet]. NVIDIA 2023 [Consultada en enero 2023] Disponible en: https://la.blogs.nvidia.com/2022/04/19/que-es-un-modelo-transformer/
Computación paralela [Internet]. Wikipedia 2023 [Consultada en enero 2023] Disponible en: ttps://es.wikipedia.org/wiki/Computaci%C3%B3n_paralela
GPUs el futuro de la computación [Internet]. Janus Henderson 2023 [Consultada en enero 2023] Disponible en: https://www.janushenderson.com/es-es/investor /article/ gpus-ware-driving-the-future-of-computing/
Wolfram Language es un lenguaje simbólico [Internet]. Wolfranm Computation Meet knowledge 2023 Consultada en febrero 2023] Disponible en: https://www.wolfram.com/language/
Telefónica Tech [Internet]. Telefónica 2023 [Consultada en marzo 2023] Disponible en:https://telefonicatech.com/blog/
Bots conversacionales [Internet]. Planeta Chatbot 2023 [Consultada en febreo 2023] Disponible en:https://planetachatbot.com/tensores-son-todo-lo-que-necesitas/
Aprendizaje automático [Internet]. Wikipedia 2023 [Consultada en enero 2023] Disponible en:https://es.wikipedia.org/wiki/Aprendizaje_automatico
Blog de Programación y Tecnología [Internet]. Keepcoding 2023 [Consultada en marzo 2023] Disponible en: https://keepcoding.io/blog/
Mecanismo de atención en aprendizaje profundo [Internet]. HashDork 2023 [Consultada en abril 2023] Disponible en: https://hashdork.com/es/attention-mechanism-in-deep-learning/
Vaswani, Ashish. Shazeer, Noam, et al. Attention Is All You Need. Google 2017.
¿Cómo funcionan los Transformers? [Internet]. Aprende Machine Learning 2023 [Consultada en enero 2023] Disponible en: https://www.aprendemachinelearning.com/como-funcionan-los-transformers-espanol-nlp-gpt-bert/
Redes Transformer (... o el fin de las Redes Recurrentes) [Internet]. Codificandobits 2023 [Consultada en abril 2023] Disponible en:https://www.codificandobits.com/blog/redes-transformer/
Redes Transformer [Internet]. Codificandobits 2023 [Consultada en enero 2023] Disponible en:https://www.youtube.com/watch?v=Wp8NocXW_C4
Artificial Intelligence [Internet]. Cornell University 2023 [Consultada en enero 2023] Disponible en:https://arxiv.org/
Modelos Transformers [Internet]. NVIDIA 2023 [Consultada en enero 2023] Disponible en: https://la.blogs.nvidia.com/2022/04/19/que-es-un-modelo-transformer/
Mecanismo de atención en aprendizaje profundo [Internet]. HashDork 2023 [Consultada en enero 2023] Disponible en: https://hashdork.com/es/attention-mechanism-in-deep-learning/
Traducción automática [Internet]. Ibidengroup 2023 [Consultada en enero 2023] Disponible en: https://www.ibidemgroup.com/edu/traduccion-automatica-gpt3-bert-t5/#:~:text=Un%20 Transformer%20es%20un %20tipo,para%20diferentes%20tipos%20de%20datos.
¿Qué Es El Mecanismo De Atención? [Internet]. Hash Dork 2023 [Consultada en enero 2023] Disponible en:https://hashdork.com/es/attention-mechanism-in-deep-learning/
Las matemáticas del machine learning [Internet]. Telefónica 2023 [Consultada en Mayo 2023] Disponible en:https://telefonicatech.com/blog/las-matematicas-del-machi ne -learning-funciones-de-activacion
ChatGPT [Internet]. OpenIA 2023 [Consultada en enero 2023] Disponible en: https://chat.openai.com/chat
SegGPT [Internet]. Huggin Face 2023 [Consultada en mayo 2023] Disponible en: https://hayunaiaparaeso.com/ia/alter-ai-secgpt/
SecGPT transforms cybersecurity through AI-driven insights. [Internet]. Medium 2023 [Consultada en enero 2023] Disponible en: https://infosecwriteups.com/secgpt-transforms-cybersecurity-through-ai-driven-insights-c5074c90bee1
La inteligencia artificial está revolucionando la ciberseguridad [Internet]. ZOE 2023 [Consultada en enero 2023] Disponible en: htps://zoeweb.es/secgpt-la-inteligencia-artificial-que-esta-revolucionando-la-ciberseguridad/
Guía completa de chatbots de IA [Internet]. Zendesk 2023 [Consultada en mayo 2023] Disponible en: https://www.zendesk.com.mx/service/messaging/chatbot/
Build Applications With Generative AI [Internet]. Nvidia Developer 2023 [Consultada en abril 2023] Disponible en:https://developer.nvidia.com/megatron-turing-natural-language-generation
Los mejores chabots para la web [Internet]. Bloo Mmedia 2023 [Consultada en enero 2023] Disponible en: https://bloo.media/blog/mejores-herramientas-chatbot/
Inteligencia Artificial Para la Ciberseguridad [Internet]. David Pereira 2023 [Consultada en marzo 2023] Disponible en: https://www.youtube.com/watch?v=sH05p8paBOY atención
Noam Chomsky sobre ChatGPT [Internet]. Rebelión 2023 [Consultada en junio 2023]. C J Polychroniou Disponible en: https://rebelion.org/noam-chomsky-sobre-chatgpt/
Copyright (c) 2024 Héctor Julio Fúquene Ardila
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.