Un equipo de científicos de datos liderado por extrabajadores de Google investiga con qué frecuencia los chatbots inventan la información que ofrecen al usuario.
Cuando OpenAI, la startup con sede en San Francisco, lanzó su chatbot en línea ChatGPT a finales de 2022, millones de usuarios quedaron fascinados por su capacidad para responder preguntas, escribir poesía y mantener conversaciones sobre una variedad de temas de manera sorprendentemente humana. Sin embargo, lo que muchos tardaron en percibir es que este tipo de chatbot a menudo crea información de la nada.
Datos sin sentido
Google presentó un chatbot similar unas semanas más tarde, generando datos sin sentido sobre el telescopio espacial James Webb. Al día siguiente, el nuevo chatbot de Bing de Microsoft ofreció información falsa sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish. En marzo, ChatGPT citó casos judiciales falsos al redactar un documento legal de 10 páginas presentado ante un tribunal federal en Manhattan.
Ahora, una nueva startup llamada Vectara, fundada por ex empleados de Google, está investigando con qué frecuencia los chatbots se desvían de la verdad. Según la investigación de la compañía, incluso en situaciones diseñadas para evitar este problema, los chatbots inventan información al menos el 3% de las veces, y hasta un 27% en algunos casos.
Este comportamiento de los chatbots, definido por los expertos como «alucinación», podría no ser un problema para aquellos que interactúan casualmente con chatbots en sus computadoras personales, pero representa un riesgo significativo para quienes utilizan esta tecnología en documentos judiciales, información médica o datos comerciales confidenciales.
Tasas de alucinación de los chatbots
Los investigadores de Vectara solicitaron a los chatbots que realizaran una tarea simple y verificable: resumir artículos de noticias. Aun en estas circunstancias, los chatbots inventaron información de manera persistente.
La investigación también reveló que las tasas de alucinación varían entre las principales empresas de inteligencia artificial. Las tecnologías de OpenAI mostraron la tasa más baja, alrededor del 3 por ciento, mientras que los sistemas de Meta, propietaria de Facebook e Instagram, rondaron el 5 por ciento. El sistema Claude 2 de Anthropic, un competidor de OpenAI, superó el 8 por ciento. Por otro lado, el sistema de Google, Palm chat, tuvo la tasa más alta con un 27 por ciento.
Con esta investigación, los fundadores de Vectara, Simon Hughes y Amr Awadallah, buscan concientizar sobre la necesidad de precaución al utilizar la información generada por chatbots y servicios similares. La empresa espera que sus métodos, que comparten públicamente, impulsen los esfuerzos de la industria para reducir las alucinaciones. Aunque compañías como OpenAI y Google están trabajando en técnicas para minimizar el problema, aún no está claro si podrán eliminarlo por completo.
Los chatbots, como ChatGPT, operan mediante una tecnología conocida como modelo de lenguaje de gran tamaño (LLM, por sus siglas en inglés). Este modelo adquiere sus habilidades mediante el análisis extenso de cantidades masivas de texto digital, que incluyen libros, entradas de Wikipedia y registros de conversaciones en línea. Al detectar patrones en estos datos, un LLM aprende a realizar una tarea específica: prever la siguiente palabra en una secuencia de palabras.
