Artículo de Pedro Matos, Principal Business Development en Keepler Data Tech.

El concepto Data Mesh, tan en auge últimamente, propone eliminar, o al menos minimizar, las limitaciones de los enfoques monolíticos y centralizados que generan actualmente las Arquitecturas de Plataformas de Datos, la Gestión de Datos y los equipos de datos, es decir, los Data Warehouses y Data Lakes gestionados por un equipo central. Al contrario de esto, Data Mesh propone la adopción de un modelo descentralizado basado en una arquitectura distribuida y en la responsabilidad de las áreas de negocio (dominios) sobre sus datos (descentralización de los roles de gobierno). 

Si simplificamos la visión, con Data Mesh pasas a organizar los datos como organizas tu negocio y a tu personal, lo cual es maravilloso en lo que a la responsabilidad se refiere.

Desde el punto de vista técnico, el Data Mesh es capaz de subsanar las deficiencias de los Data Warehouses y Data Lakes al facilitar una mayor flexibilidad y autonomía en la propiedad de los datos. Esto se traduce en un mayor margen para la experimentación y la innovación en materia de datos, ya que la responsabilidad se quita de las manos de unos pocos expertos. La infraestructura de autoservicio como plataforma también abre vías para un enfoque mucho más universal y a la vez automatizado hacia la estandarización de los datos, así como la recopilación y el intercambio de los mismos. Así que, potencialmente, pueden darse más contribuciones para la estrategia de datos incentivando una mentalidad de compartir.

Sin embargo, las empresas deben darse cuenta de que no es una receta que sirva para todas las situaciones. Data Mesh no debe aplicarse sólo porque sea tendencia, sino porque se ha tomado una decisión fundamentada y se van a obtener ciertos beneficios.

Una estrategia de Data Mesh podría beneficiar a las organizaciones que tienen un modelo descentralizado con varios dominios y complejidad de fuentes. Puede ayudar a organizaciones que están muy descentralizadas, ya que la estructura de Data Mesh permite a los diferentes equipos gestionar sus propios datos y solo poner aquellos de calidad a disposición del resto de la organización como producto.

En este punto, hay cuatro aspectos que analizar para considerar un enfoque Data Mesh:

• Estabilidad organizativa.
• Preparación cultural de la empresa.
• Tener un caso empresarial sólido para un enfoque de Data Mesh.
• Y, obviamente, un presupuesto para invertir en el cambio.

¿Un cambio de estrategia?

En Keepler no creemos que sea necesario un cambio en la estrategia de datos. El objetivo principal de ser una compañía data-driven es el mismo. Probablemente podamos reescribir esto y utilizar “Data Product Driven Company”.

Si el Data Mesh se convierte en un camino a seguir para una compañía, entonces es necesario replantearse las estrategias de organización, gestión de datos, gobierno del dato y arquitectura de datos. ¿Por qué?

La empresa debe diseñar un road map para pasar de estar basada en un equipo de datos centralizado, que gestiona el almacén de datos y el Data Lake (plataformas monolíticas) y un gobierno del dato centralizado, a un nuevo paradigma descentralizado.

Mientras que el modelo centralizado funciona para las organizaciones que tienen unos pocos dominios con un número menor de casos de consumo diversos, falla para las empresas con dominios ricos, gran número de fuentes y un conjunto diverso de consumidores.

¿Y qué ocurre con los Data Lakes y los Data Warehouses que existen actualmente (el impacto arquitectónico)? Lo más probable es que se conviertan en nodos de la malla y sean utilizados por un dominio concreto.

Tener una estrategia de datos implica la definición de cómo aprovechar los datos utilizando los principios FAIR (encontrabilidad, accesibilidad, interoperabilidad y reutilización) para defender que los Productos de Datos sean utilizables, comprensibles, accesibles e interoperables con otros Productos de Datos. El mejor enfoque es disponer de una plataforma de datos en la nube pública aprovechando la variedad de servicios que ponen a disposición sus proveedores. La flexibilidad, escalabilidad, elasticidad, modularidad y el pago por uso son ventajas de las plataformas de datos en la nube. En el contexto del artículo, estas ventajas se aplican a las plataformas de los nodos de dominio y a la plataforma de datos central de autoservicio que conecta los dominios.