Métodos estadísticos en Data Science: Saca el máximo valor a tus datos

10 octubre, 2019
12 Compartido 1,669 Visualizaciones

Una de las claves del Big Data radica en el análisis del dato, con el objetivo de extraer conclusiones y aprovecharlas para proveer de información útil a la Organización. En este artículo, Iván Robles (Senior Data Scientist en Bankia España y Profesor en el Máster en Big Data Management de ICEMD), nos proporciona un acercamiento a los principales métodos estadísticos usados para este fin en Data science.

Es la era del dato. Tenemos datos de todas las clases, formas y colores. Se han desarrollado tecnologías para almacenarlos sin tener problemas de volumen, velocidad o diversidad.

¿Qué hacemos con los Datos ahora?

Queremos analizarlos, entenderlos, predecirlos, y sobre todo sacar valor de ellos, que nos ayuden a optimizar y a tomar decisiones. ¿Cómo lo hacemos?

Data Science es la disciplina donde se analizan, y científicos de datos son los encargados de hacerlo con técnicas de machine learning. Son los analistas de toda la vida, pero cargados con algoritmos estadísticos y potentes herramientas de cálculo para poder ejecutarlos.

En una de las presentaciones más brillantes que he podido ver como profesor, uno de los alumnos buscó el dato de cuantos algoritmos de machine learning existen. No recuerdo el número exacto, pero hace un par de años eran miles, y sigue creciendo. En este artículo se muestran cuáles son los principales métodos que un científico de datos debe de saber, basados tanto en la frecuencia de uso como en si son base conceptual para el entendimiento de otros algoritmos.

¿Cuáles son los métodos estadísticos más usados en Data Science?

Regresión lineal: La cuna del machine learning. Un algoritmo básico que se aprende ya en el instituto. Introduce conceptos como la beta de las variables, p-valor o R Cuadrado. Todo científico de datos debería conocer estos conceptos y saber interpretarlos a la perfección.

Regresión logística: Una modificación de la regresión lineal para poder resolver problemas de clasificación. Aproximadamente el 80% de los proyectos de machine learning son problemas de clasificación. Aquí se aprenden conceptos como la diferencia entre efecto multiplicativo y aditivo.

Series temporales: Como decía Lewis Carroll en Alicia en el país de las maravillas “El tiempo es todo un personaje”. Y para estudiarlo, es necesario conocer las series temporales. Otra pequeña modificación de las regresiones lineales, donde se introducen conceptos como estacionalidad y tendencias a través de los modelos ARIMA.

Árbol de decisión: Quizás el más entendible de los algoritmos, de cara a presentar resultados. Los árboles con sus hojas y sus ramas han dado pie a los algoritmos más  usados en la actualidad, Random Forest (no se hace un árbol, se hacen miles y se ve lo que se aprende de todos ellos) y XGBoost (cada vez que se hace un árbol, se observa donde se equivoca y se corrige con otro árbol).

Red Neuronal: Uno de los algoritmos más potentes y más oscuros, sabemos que acierta pero no el porqué. Cada vez se estan sacando mas herramientas para intentar que esa oscuridad se convierta en luz y entender cómo aciertan las redes. Basadas en el cerebro humano, es básico conocer conceptos como capa, neurona o retropropagación. Las técnicas que usa Deep Learning, ahora tan de moda, sobre todo en el uso de la inteligencia artificial para detección de imágenes, voz o comprensión de texto, están basadas en redes neuronales. Estar actualizados en esta y otras técnicas es imprescindible para no perder competitividad, lo cual se puede conseguir con el Máster en Big Data Management de
ICEMD.

K-means: Otra de los algoritmos más conocidos, en este caso para hacer clustering. Nos sirve para agrupar y clasificar por características similares. Conceptos como normalización o distancias son importantes en este algoritmo.

k-NN: También llamado k-vecinos. Usado para los recomendadores. ¿Qué te voy a recomendar? Lo mismo que a tus vecinos, entendiendo como vecinos las personas que tengan tus mismos hábitos.

PCA: Análisis de componentes principales, es una de las técnicas llamadas de reducción de dimensionalidad. Muy usada en las encuestas. ¿Por qué usar cientos de variables si podemos utilizar solo unas pocas que resuman la información? Conceptos como rotación son interesantes de aprender en estas técnicas.

Cadenas de markov: Sirven para introducir la estadística bayesiana y se ven conceptos como simulación. Muy útil para cuando tenemos pocos datos, pues con estas técnicas se pueden dar pistas al modelo para que aprenda.

Simplex: Este algoritmo está centrado en buscar soluciones óptimas con restricciones. Es el último paso de los modelos, donde puedes pasar de predecir a ser prescriptivo. Predecir es ver las posibles ventas de una empresa bajo ciertas hipótesis. Ser prescriptivo es decir que palancas hay que tocar para maximizar las ventas. Es el último paso para sacar todo el rendimiento a los algoritmos, y el método del simplex es la base para entender cómo se puede realizar ésto.

Muchos algoritmos no se han mencionado aquí y muchos quedan por venir. Un número de algoritmos en continuo crecimiento y muy relacionado con la investigación en las universidades y en las empresas. En este artículo se ha querido destacar la base de data science para los interesados en adentrarse en esta disciplina, pero como podrán deducir, hay un camino de aprendizaje que afortunadamente, nunca termina.

¿Quieres adquirir los conocimientos necesarios para poder resolver problemas complejos mediante modelos analíticos avanzados? Fórmate con el Máster en Big Data Management de ICEMD.

Te podría interesar

La IA y la robótica, uno de los 10 desafíos más importantes para las empresas familiares españolas
Actualidad
23 compartido1,207 visualizaciones
Actualidad
23 compartido1,207 visualizaciones

La IA y la robótica, uno de los 10 desafíos más importantes para las empresas familiares españolas

Vicente Ramírez - 28 noviembre, 2018

El 60% de los encuestados tiene previsto hacer mejoras significativas de sus capacidades digitales en los próximos dos años. Los negocios familiares son optimistas sobre la evolución…

La orquestación multicloud reclama su sitio en la madurez digital de las empresas españolas
Actualidad
18 compartido2,542 visualizaciones
Actualidad
18 compartido2,542 visualizaciones

La orquestación multicloud reclama su sitio en la madurez digital de las empresas españolas

Mónica Gallego - 29 octubre, 2018

IDC Research España y Walhalla acaban de publicar el informe Mercado Cloud España 2018: La orquestación como ventaja competitiva en la gestión Multicloud, que recoge las previsiones de…

El 73% de los retailers están preocupados por su adaptación a las nuevas tecnologías, como la IA
Actualidad
10 compartido1,225 visualizaciones
Actualidad
10 compartido1,225 visualizaciones

El 73% de los retailers están preocupados por su adaptación a las nuevas tecnologías, como la IA

Vicente Ramírez - 17 julio, 2018

 Son datos desvelados en una encuesta  realizada a casi 200 retailers en el mundo, que mostraron cómo las organizaciones luchan por equilibrar cuatro elementos estratégicos para ofrecer…

Dejar comentario

Su email no será publicado

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.