Data Echoing: qué es y cómo acelera el entrenamiento

20 mayo, 2020
7 Compartido 1,160 Visualizaciones

¿Cuál es la solución para entrenar de forma más rápida redes neuronales profundas? ¿Construir procesadores rápidos? Esta sería una manera, sino fuera porque ahora tenemos GPU y TDU. Si la velocidad no es suficiente, ¿Deberíamos desarrollar procesadores que sean aún más rápidos?

Estas son algunas de las preguntas que surgen cuándo comienzas un proyecto y los investigadores de Google IA tienen clara la respuesta para todas ellas, no. Según sus investigadores, en la actualidad ya se han visto casos en los que los aceleradores están inactivos la mayor parte del tiempo mientras esperan la entrada. Por lo tanto, en lugar de ajustar el hardware, introdujeron un concepto más simple a nivel algorítmico, que llaman data Echoing. Hablan de él en el nuevo artículo publicado en su blog, «Faster Neural Network Training with Data Echoing«.

El Data Echoing, como su nombre indica, es una técnica que reutiliza los datos de salida de los pasos anteriores en lugar de mantener los procesadores esperando datos nuevos.

¿Cómo funciona Data Echoing?

Con Data Echoing lo que ocurre es que una vez que se ha optimiza el lote, este se reutiliza y se realiza un segundo paso antes de que el siguiente lote este listo. En el mejor de los casos, los datos repetidos son tan útiles como los datos nuevos. Pero en realidad, los investigadores han admitido que esta técnica proporciona una aceleración ligeramente menor porque los datos repetidos no son tan útiles como los datos nuevos, pero todavía puede proporcionar una aceleración significativa en comparación con dejar el acelerador inactivo.

Para probar el funcionamiento de la técnica realizaron varios experimentos. Los investigadores probaron los datos que se hacen eco en cinco canalizaciones de entrenamiento de redes neuronales que abarcan 3 tareas diferentes (clasificación de imágenes, modelado de lenguaje y detección de objetos) y midieron el número de nuevos ejemplos necesarios para alcanzar un objetivo de rendimiento determinado.

Encontraron que la Data Echoing puede ayudar a alcanzar el rendimiento de destino con menos ejemplos nuevos, lo que demuestra que la reutilización de datos es útil para reducir la E/S de disco en una variedad de tareas. En algunos casos, los datos repetidos son casi tan útiles como los datos nuevos como los ecos antes del aumento reduce el número de nuevos ejemplos requeridos casi por el factor de repetición ‘e’.

Te podría interesar

TeamViewer anuncia una integración más completa con ServiceNow
Internet of Things
18 compartido2,463 visualizaciones
Internet of Things
18 compartido2,463 visualizaciones

TeamViewer anuncia una integración más completa con ServiceNow

Mónica Gallego - 31 enero, 2019

La integración de Conectividad Remota en ServiceNow mejora el soporte de TI, la eficiencia en la resolución de incidencias y la satisfacción de los empleados. TeamViewer, centro neurálgico de la…

Telefónica y 5GBarcelona presentan un nuevo laboratorio abierto para pruebas de 5G e IoT
Actualidad
13 compartido2,186 visualizaciones
Actualidad
13 compartido2,186 visualizaciones

Telefónica y 5GBarcelona presentan un nuevo laboratorio abierto para pruebas de 5G e IoT

Vicente Ramírez - 16 abril, 2018

El nuevo laboratorio contará con una red e infraestructura multitecnología abierta a corporaciones, pymes o startups que quieran testear sus proyectos Telefónica y 5GBarcelona pondrán en marcha…

Un 70% de las compañías invertirán en IA en los próximos dos años
AI
12 compartido2,527 visualizaciones
AI
12 compartido2,527 visualizaciones

Un 70% de las compañías invertirán en IA en los próximos dos años

Mónica Gallego - 2 julio, 2018

Las compañías españolas invertirán en IA en los próximos dos años, un 43% también invertirá en chatbots en el próximo año. Los problemas legales, la cultura empresarial,…

Dejar comentario

Su email no será publicado

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.