La toma de decisiones requiere del análisis de datos de diferentes fuentes y aquí los pequeños datos son más que necesarios.

Gran parte del rumor en torno a los datos en los últimos años ha sido sobre big data y cómo las organizaciones están utilizando grandes conjuntos de datos para darles una ventaja comercial. Sin embargo, debido en gran parte a la pandemia, los ‘small data’ o datos pequeños están pasando a ser el centro de atención.

Los datos pequeños no son nuevos

Según Bryan Philips Cupertino, director de marketing de In Motion con sede en California, los datos pequeños son lo opuesto a los datos masivos. Es un término que describe conjuntos de datos con menos de 1000 filas o columnas. El término fue acuñado en 2011 por investigadores de IBM para describir conjuntos de datos que son demasiado pequeños para los métodos estadísticos tradicionales. A diferencia de los macrodatos, los pequeños conjuntos de datos se pueden analizar mediante estimaciones. Los ejemplos de pequeños conjuntos de datos incluyen transacciones de clientes, publicaciones en redes sociales y secuencias de genomas individuales.

Los datos pequeños o el uso de conjuntos de datos pequeños no son nuevos. En 2019, Arun Ramaswamy, director de tecnología de NielsenIQ, señaló en una publicación de CMSWire que la era del big data está llegando a su fin. Escribió que será reemplazado por pequeños conjuntos de datos a medida que la IA se desarrolle para que pueda hacer más con menos.

Los datos pequeños son tendencia

Claramente, este mensaje ha tardado mucho en llegar a que los datos pequeños también son útiles, pero lo ha hecho y ahora Gartner lo ha identificado como una de las 10 principales tendencias en el espacio de datos y análisis de este año. Es difícil saber si la pandemia es la causa del cambio de enfoque, pero ciertamente contribuyó al cambio.

«La velocidad a la que la pandemia de COVID-19 interrumpió a las organizaciones ha obligado a los líderes de D&A a tener herramientas y procesos para identificar las tendencias tecnológicas clave y priorizar aquellas con el mayor impacto potencial en su ventaja competitiva», dijo Rita Sallam, distinguida vicepresidenta de investigación. en Gartner, en una declaración sobre las tendencias.

La investigación también señala que con la evolución y la tracción generalizada de la inteligencia artificial (IA) y el aprendizaje automático (ML) en toda la empresa, las empresas ahora pueden aplicar nuevas técnicas para soluciones de IA más inteligentes y menos exigentes en datos.

Más concretamente, Gartner señala que los cambios comerciales extremos de la pandemia COVID-19 hicieron que los modelos de ML e IA basados ​​en grandes cantidades de datos históricos se volvieran menos relevantes. Paralelamente, está el hecho de que la toma de decisiones por parte de los humanos y la IA es más amplia y requiere datos de diferentes fuentes para obtener respuestas precisas a las consultas.

Como resultado, Gartner recomienda que las organizaciones adopten tecnologías que puedan usar cualquier información disponible, así como conjuntos de datos más amplios que permitan el análisis y el uso de la sinergia de una variedad de fuentes de datos pequeñas y grandes, no estructuradas y estructuradas, como así como datos pequeños, que es la aplicación de técnicas analíticas que requieren menos datos pero aún ofrecen información útil.