Turing-NLG de Microsoft tiene 17.000 millones de párametros de lenguaje

Es el mayor modelo de lenguaje de parámetros  que ha existido. Han presentado una demostración libre del modelo que ha respondido a preguntas y ha realizado resúmenes; este modelo tiene fines académicos y de investigación.

La compañía Microsoft ha publicado en su propio blog un resumen de la presentación de este modelo que ha sido realizado por el propio programa.

Mejorar los modelos de lenguaje de aprendizaje masivo (las siglas en ingles son LM) ha permitido que las respuestas a preguntas, los agentes conversacionales y la comprensión de documentos sean mucho mejor de lo que ya eran. Esta nueva herramienta tendrá varias aplicaciones, entre las que se encuentran ayudar a los autores a componer su contenido, realizar resúmenes de textos extensos o mejorar la experiencia de los clientes con asistentes digitales. Este modelo ha recibido el nombre de Turing Natural Language Generation (T-NLG), el modelo más grande jamás publicado con 17 mil millones de parámetros. La creación de este modelo ha sido gracias a la biblioteca DeepSpeed ​​(compatible con PyTorch) y el optimizador ZeRO.

Microsoft ya ha lanzado una demostración privada de T-NLG a un pequeño conjunto de usuarios dentro de la comunidad académica para hacer pruebas iniciales y poder mejorarlo.

Beneficios del sistema

T-NLG es un modelo de lenguaje generativo basado en transformadores, lo que significa que puede generar palabras para completar tareas textuales abiertas. Esto es muy importante para las tareas de PNL, ya que responde de manera directa, precisa y fluida; provocando la sensación de estar hablando con un humano.  Anteriormente, los sistemas de respuesta y resumen de preguntas se basaban en la extracción de contenido existente de documentos que podían servir como respuesta o resumen suplente, pero a menudo parecían antinaturales o incoherentes. T-NLG puede responder preguntas sobre un documento personal o incluso un hilo de correo electrónico.

TE PUEDE GUSTAR

EVENTOS

RECIBE NUESTRA NEWSLETTER

*Email:

*Nombre:

*Empresa:

Cargo:

Sector:
     

Please don't insert text in the box below!

ESCUCHA NUESTRO PODCAST

SÍGUENOS EN RRSS

MÁS COMENTADOS

Scroll al inicio
Resumen de privacidad

Las cookies y otras tecnologías similares son una parte esencial de cómo funciona nuestra web. El objetivo principal de las cookies es que tu experiencia de navegación sea más cómoda y eficiente y poder mejorar nuestros servicios y la propia web. Aquí podrás obtener toda la información sobre las cookies que utilizamos y podrás activar y/o desactivar las mismas de acuerdo con tus preferencias, salvo aquellas Cookies que son estrictamente necesarias para el funcionamiento de la web de BigDataMagazine. Ten en cuenta que el bloqueo de algunas cookies puede afectar tu experiencia en la web y el funcionamiento de la misma. Al pulsar “Guardar cambios”, se guardará la selección de cookies que has realizado. Si no has seleccionado ninguna opción, pulsar este botón equivaldrá a rechazar todas las cookies. Para más información puedes visitar nuestra Políticas de Cookies. Podrás cambiar en cualquier momento tus preferencias de cookies pinchando en el enlace “Preferencias de cookies” situado en la parte inferior de nuestra web.