Un algoritmo de aprendizaje automático, una rama de la inteligencia artificial, ha demostrado su capacidad para permitir a una computadora procesar datos incluso cuando superan ampliamente la memoria disponible del sistema.

Este algoritmo es capaz de identificar las características clave de un extenso conjunto de datos y dividirlo en lotes manejables, evitando así sobrecargar el hardware de la computadora.

Este logro proviene del Laboratorio Nacional de Los Álamos, donde el algoritmo estableció un récord mundial al procesar enormes conjuntos de datos en Summit, la quinta supercomputadora más rápida del mundo, ubicada en el Laboratorio Nacional de Oak Ridge, Estados Unidos.

Alto rendimiento

La eficiencia de este algoritmo es sorprendente, ya que demuestra un rendimiento igualmente alto tanto en una supercomputadora como en un ordenador portátil. Además, resuelve los problemas de rendimiento que limitan el procesamiento de información en aplicaciones que manejan una gran cantidad de datos. Este avance tiene aplicaciones cruciales en diversos campos, como la investigación sobre el cáncer, análisis de imágenes por satélite, procesamiento masivo de datos provenientes de redes sociales, estudio de terremotos y seguridad nacional, entre otros.

El equipo liderado por Ismael Boureima en el Laboratorio Nacional de Los Álamos en Estados Unidos ha desarrollado este algoritmo innovador. En palabras de Manish Bhattarai, experto en aprendizaje automático en el Laboratorio Nacional de Los Álamos y miembro del equipo de investigación y desarrollo, «la forma tradicional de análisis de datos requiere que los datos se ajusten a las limitaciones de memoria. Nuestro enfoque desafía esta noción». Explica que cuando el volumen de datos supera la memoria disponible, el algoritmo divide el conjunto de datos en segmentos más pequeños y los procesa de manera eficiente, introduciendo y sacando segmentos de la memoria según sea necesario. Esta técnica proporciona una capacidad única para manejar y analizar conjuntos de datos extremadamente grandes.

Durante la prueba de récord, el algoritmo procesó una matriz densa de 340 terabytes y una matriz dispersa de 11 exabytes utilizando solo 25.000 unidades de procesamiento gráfico (GPUs).

Boureima, Bhattarai y sus colegas detallan las especificaciones técnicas de su algoritmo y su funcionalidad en el artículo «Distributed Out-of-Memory NMF on CPU/GPU Architectures» publicado en la revista académica The Journal of Supercomputing (Fuente: NCYT de Amazings).

Cabe recordar que el uso de los algoritmos ya se ha demostrado muy útil en distintos ámbitos, como la Sanidad, el marketing digital o la educación.