Turing-NLG de Microsoft tiene 17.000 millones de párametros de lenguaje

Es el mayor modelo de lenguaje de parámetros  que ha existido. Han presentado una demostración libre del modelo que ha respondido a preguntas y ha realizado resúmenes; este modelo tiene fines académicos y de investigación.

La compañía Microsoft ha publicado en su propio blog un resumen de la presentación de este modelo que ha sido realizado por el propio programa.

Mejorar los modelos de lenguaje de aprendizaje masivo (las siglas en ingles son LM) ha permitido que las respuestas a preguntas, los agentes conversacionales y la comprensión de documentos sean mucho mejor de lo que ya eran. Esta nueva herramienta tendrá varias aplicaciones, entre las que se encuentran ayudar a los autores a componer su contenido, realizar resúmenes de textos extensos o mejorar la experiencia de los clientes con asistentes digitales. Este modelo ha recibido el nombre de Turing Natural Language Generation (T-NLG), el modelo más grande jamás publicado con 17 mil millones de parámetros. La creación de este modelo ha sido gracias a la biblioteca DeepSpeed ​​(compatible con PyTorch) y el optimizador ZeRO.

Microsoft ya ha lanzado una demostración privada de T-NLG a un pequeño conjunto de usuarios dentro de la comunidad académica para hacer pruebas iniciales y poder mejorarlo.

Beneficios del sistema

T-NLG es un modelo de lenguaje generativo basado en transformadores, lo que significa que puede generar palabras para completar tareas textuales abiertas. Esto es muy importante para las tareas de PNL, ya que responde de manera directa, precisa y fluida; provocando la sensación de estar hablando con un humano.  Anteriormente, los sistemas de respuesta y resumen de preguntas se basaban en la extracción de contenido existente de documentos que podían servir como respuesta o resumen suplente, pero a menudo parecían antinaturales o incoherentes. T-NLG puede responder preguntas sobre un documento personal o incluso un hilo de correo electrónico.

TE PUEDE GUSTAR

EVENTOS

RECIBE NUESTRA NEWSLETTER

*Email:

*Nombre:

*Empresa:

Cargo:

Sector:
     

Please don't insert text in the box below!

ESCUCHA NUESTRO PODCAST

SÍGUENOS EN RRSS

MÁS COMENTADOS

Scroll al inicio