Los Small Data son utilizados regularmente por los expertos de dominio y rara vez son datos centralizados propiedad exclusiva del departamento de TI.
Los datos están ahora en todas partes. Desde las más pequeñas empresas de nueva creación hasta las mayores corporaciones, los datos se utilizan para crear nuevas aplicaciones y servicios, mejorar el servicio al cliente, acelerar los procesos internos e incluso mejorar la medicina.
Aunque el Big Data está claramente identificado como uno de los principales temas de interés para las empresas, los medios de comunicación y los gobiernos, el Small Data sigue estando un poco en la sombra. De hecho, la falta de atención prestada al Small Data le hace un flaco favor. Tiene el potencial de cambiar la vida de la mayoría de los departamentos y expertos de una organización.
Definimos los Small Data como datos útiles, fácilmente accesibles y beneficiosos para un departamento de una organización. Los Small Data son utilizados regularmente por los expertos de dominio y rara vez son datos centralizados propiedad exclusiva del departamento de TI.
El Small Data no es una alternativa al Big Data, sino un complemento. Ambos trabajan juntos dentro de una organización, ya que se dirigen a diferentes niveles y audiencias.
¿Cómo trabajar con conjuntos de datos pequeños?
Cuando se trabaja con conjuntos de datos pequeños utilizando los enfoques tradicionales de la ciencia de los conjuntos de datos surgen dos problemas:
- El primer problema es el sobreajuste. Para muchos algoritmos, los conjuntos de datos pequeños conducen a modelos que explotan los detalles de los datos en lugar de modelar la mecánica subyacente. Esto significa esencialmente que el modelo es bueno para predecir los datos que ya se tienen, pero no para modelar nada más.
- El segundo problema son los valores atípicos. Los valores atípicos son pequeñas cantidades de datos cuyos valores difieren mucho de la mayoría de los datos; el valor medio de los datos se desviará en gran medida. Para una gran clase de algoritmos de modelización, los valores atípicos pueden ser muy perjudiciales para la precisión predictiva del modelo final.
