La rapidez en la gestión y el proceso de los datos es fundamental a la hora de actuar con rapidez y de poder tomar decisiones.
La forma en que los macrodatos aumentan de tamaño es a través de un flujo constante de datos entrantes. En entornos de gran volumen, esos datos llegan a velocidades increíbles, pero aún deben analizarse y almacenarse.
Hace menos de una docena de años, era casi imposible imaginar el análisis de petabytes de datos históricos utilizando hardware básico. Hoy en día, los clústeres creados a partir de miles de nodos son casi comunes. Las tecnologías de código abierto como Hadoop reinventaron cómo procesar de manera eficiente petabytes sobre petabytes de datos utilizando hardware básico y virtualizado, haciendo que esta capacidad esté disponible de manera económica para los desarrolladores de todo el mundo. Como resultado, surgió el campo de los macrodatos.
Una revolución similar está ocurriendo con los llamados datos rápidos. Primero, definamos datos rápidos. Los macrodatos a menudo se crean a partir de datos que se generan a velocidades increíbles, como datos de flujo de clics, datos de ticker financiero, agregación de registros o datos de sensores. A menudo, estos eventos ocurren de miles a decenas de miles de veces por segundo.
Los beneficios del big data se pierden si los datos nuevos y de rápido movimiento se vierten en HDFS, un RDBMS analítico o incluso en archivos planos, porque se pierde la capacidad de actuar o alertar en este momento, mientras las cosas suceden. La manguera contra incendios representa datos activos, estado inmediato o datos con propósito continuo. El almacén de datos, por el contrario, es una forma de mirar los datos históricos para comprender el pasado y predecir el futuro.
Actuar sobre los datos a medida que llegan se ha considerado costoso y poco práctico, si no imposible, especialmente en el hardware básico. Al igual que el valor en big data, el valor en datos rápidos se está desbloqueando con la implementación reinventada de colas de mensajes y sistemas de transmisión como el código abierto Kafka y Storm, y la implementación reinventada de bases de datos con la introducción de ofertas de código abierto NoSQL y NewSQL .
Capturando valor en los datos
La mejor manera de capturar el valor de los datos entrantes es reaccionar ante ellos en el instante en que llegan. Si está procesando datos entrantes en lotes, ya ha perdido tiempo y, por lo tanto, el valor de esos datos.
Para procesar datos que llegan a decenas de miles a millones de eventos por segundo, necesitará dos tecnologías: Primero, un sistema de transmisión capaz de entregar eventos tan rápido como ingresan; y segundo, un almacén de datos capaz de procesar cada artículo tan rápido como llega.
Sistemas populares
En los últimos años han surgido dos sistemas de transmisión populares: Apache Storm y Apache Kafka. Originalmente desarrollado por el equipo de ingeniería de Twitter, Storm puede procesar de manera confiable flujos ilimitados de datos a velocidades de millones de mensajes por segundo. Kafka, desarrollado por el equipo de ingeniería de LinkedIn, es un sistema de cola de mensajes distribuidos de alto rendimiento. Ambos sistemas de transmisión abordan la necesidad de procesar datos rápidamente.
