Superado el punto álgido de adopción de nube pública por parte de muchas empresas, los expertos de Cloudera identifican que son muy pocas organizaciones las que confían todos sus datos a una única nube, bien sea pública o privada. El futuro para la mayoría de los responsables de datos será multi-nube e híbrido, según la compañía, que identifica una preocupación creciente entre estos perfiles directivos por garantizar que sus entornos de datos se consolidan bajo el formato de la interoperabilidad.

Según revelan los clientes de Cloudera, para ellos es de vital importancia analizar la información, independientemente del lugar en el que esté alojada y, si es posible, en tiempo real. Por otro lado, los expertos del proveedor de la única plataforma realmente híbrida para datos, analítica e IA, subrayan que la verdadera batalla ahora es por los metadatos, esenciales para hacer que los datos sean consumibles, reveladores y útiles, además de garantizar la seguridad y la gobernanza. Cloudera propone que, en lugar de mover o copiar datos, las empresas deben centrarse en unificar los metadatos para mejorar la eficiencia y reducir costes.

¿Qué retos plantean los metadatos?

Los metadatos están formados por la información adicional que no aparece a simple vista en un fichero, documento o imagen, como su fecha de creación y la ubicación geográfica.

Estos activos pueden clasificarse en operativos y de negocio. Los primeros facilitan que la información se dirija a los destinatarios correctos, incidiendo en la gobernanza y la privacidad. Mientras que los segundos proporcionan el contexto necesario para que los usuarios puedan encontrar y analizar fácilmente la información que buscan.

Teniendo en cuenta la coexistencia de los anteriores tipos de metadatos en entornos cada vez más híbridos, el reto reside en conseguir gestionarlos de forma conjunta para automatizar el análisis y escalar los proyectos empresariales derivados de ellos.

Tradicionalmente, la respuesta ante este desafío ha sido trasladar o copiar los datos de una fuente o sistema a otro. Sin embargo, este enfoque no es efectivo, ya que aumenta los costes y dificulta la escalabilidad.

La gestión eficaz del metadato

En primer lugar, se debe conseguir que los metadatos sean fácilmente reconocibles por cualquier usuario. Y conseguir que estén disponibles y sean interoperables cuando proceden de diferentes fuentes. En este sentido, la mejora de su calidad y precisión, resulta clave para garantizar una consulta eficiente de esta información.

Al mismo tiempo, teniendo en cuenta que determinados metadatos recogen información confidencial de la empresa que no debe ser compartida con terceros, es indispensable aplicar las políticas de seguridad y gobernanza adecuadas. Un aspecto que se vuelve más complejo cuando se opera en entornos híbridos.

La gestión de los metadatos resulta compleja, ya que se encuentran en diversos formatos: datos estructurados, no estructurados, contenido multimedia… Esto dificulta aún más su integración y estandarización.

La necesidad de una plataforma abierta y unificada

La solución reside en la implementación de arquitecturas modernas data lakehouse. A través de esta infraestructura, los equipos almacenan y gestionan los metadatos en origen, lo que elimina copias y réplicas y garantiza una visión coherente y precisa.

De esta forma, al garantizar que cada conjunto de metadatos esté correctamente clasificado e identificado, los usuarios pueden encontrar fácilmente aquello que buscan, incluso en extensos catálogos o “bibliotecas” de datos, sin que se pierda información por el camino. Esto se traduce en eficiencia y ahorro de tiempo y recursos empleados por los equipos.

Precisamente, una de las principales ventajas de los metadatos radica en facilitar esa búsqueda y recuperación de los datos principales que describen. Algo que cobra un papel cada vez más importante en los proyectos de Inteligencia Artificial Generativa. Pero para alcanzar esa eficiencia se debe disponer de los sistemas y arquitecturas adecuados.

Gracias a la popularización de los data lakehouse de código abierto, garantizamos que los metadatos estén siempre disponibles y sean fácilmente accesibles, independientemente de las plataformas y soluciones con las que operan las compañías. En plena era del Hybrid Cloud, el metadato plantea una batalla que solo podremos ganar a través de una gestión y gobernanza sólidas.