Las arquitecturas modernas enfrentan nuevos retos, para dar respuesta a algunos de ellos surge DataOps. Una metodología que permite mejorar la manera en que los equipos de datos trabajan sus proyectos. En esta nota explicamos cuáles tienen que ser las características de un pipeline de datos orientado a DataOps.-

Vivimos en una época en la que se generan datos a una velocidad nunca imaginada. Para poder tomar mejores decisiones y tener una ventaja competitiva, las empresas necesitan contar con la mayor cantidad de datos de forma accesible. Si bien las arquitecturas modernas dieron respuesta a muchas de estas necesidades, también surgieron nuevos retos.

“Este escenario garantizó beneficios vinculados a la capacidad y a la flexibilidad del trabajo, sin embargo, también planteó desafíos para el equipo de desarrollo. Es decir, la contención, estructura y método de trabajo que antes era impuesto por las herramientas de ETL tradicionales, desaparece por completo. Lo que puede generar grandes problemas en un futuro”, explica Bruno Masciarelli, arquitecto de datos en Datalytics, consultora enfocada en brindar servicios de analytics.

El experto agrega que es clave impulsar metodologías claras, de lo contrario, cada ingeniero de datos tendrá su propio criterio a la hora de desarrollar un script, en el momento de implementarlo y, lo que es mucho peor, para mantenerlo. Es en este punto en el que DataOps aparece como la solución más viable ya que propone adoptar prácticas asociadas a: DevOps tradicional, metodologías ágiles y Statistical Process Controls.

¿Cómo tiene que ser el pipeline de datos para implementar DataOps?

DataOps da un marco teórico y metodológico a la necesidad de mejorar la manera en que los equipos de datos trabajan sus proyectos.

El primer paso para poder adoptar estas prácticas es definir cómo implementarlas. En este sentido, y con base a la experiencia, Masciarelli explica que un pipeline debe cumplir con las siguientes características:

1. Todos los artefactos tienen que estar versionados utilizando un Sistema de Control de Versionado (VCS): de esta manera podremos trabajar de forma colaborativa, evitando problemas cuando más de un ingeniero de datos esté trabajando sobre el mismo concepto. Además, es posible llevar un control de cambios detallado, lo que asegura la trazabilidad y, en el caso de ser necesario, se puede volver a un determinado estado en el tiempo.
2. Sprints: el trabajo tiene que organizarse en sprints cortos que busquen la entrega de nuevas funcionalidades al final de cada uno. Se debe tener un backlog claro con tareas atómicas sin ambigüedades.
3. Asegurar la calidad del código y de los datos: para eso, tener en cuenta:
   1. • Código: los scripts deben cumplir con reglas de sintaxis y seguridad predefinidas.
      • Datos: en cada estadio por el que atraviesa un dato a lo largo del flujo, hay que definir reglas que aseguren su la calidad en todos los aspectos (completitud, tipo, cantidad de registros, etc.)
4. Separar ambientes: al menos un ambiente de desarrollo, testing y otro productivo.
5. Integración, entrega y despliegue continuos: El desarrollo debe darse bajo un esquema de:
   1. • Integración continua (CI): integrar de manera frecuente, a un único repositorio, los cambios desarrollados sobre el código de un proyecto de software. Además, dicho código debe pasar por una serie de pruebas automáticas que verifiquen su integridad.
      • Entrega continua (CD): los cambios y pruebas se ejecutan en forma automática en un ambiente de testing (QA) que, en términos de volumen y calidad de datos, debe reflejar el ambiente productivo.
      • Despliegue continuo (CD): todos los cambios que hayan pasado las validaciones correspondientes en el ambiente de testing, se despliegan de manera automática en producción, sin intervención humana.
6. Documentar y definir: La dependencia y precedencia de ejecución de cada artefacto debe estar definida y documentada en forma clara.
7. Registro centralizado: Tiene que existir un registro de ejecución centralizado que facilite el proceso de auditoría y debugging.

Hoy más que nunca, es fundamental pensar las soluciones de datos que, desde el inicio, estén orientadas a resolver las problemáticas de negocio de forma confiable y en el momento indicado.

El objetivo de fondo debe ser que cualquier persona que tenga que tomar una decisión en la empresa, pueda hacerlo basada en datos fiables y actualizados. Además, se debe asegurar la democratización y no perder nunca de vista el gobierno y la seguridad de los datos.

“Más allá de la arquitectura o tecnología a utilizar, lo más importante es definir una estrategia que reconozca la importancia de implementar una mecánica de trabajo centrada en aportar valor, que permita anticipar y reducir problemas de datos a partir de metodologías bien establecidas”, finaliza Masciarelli.

Para más información y consejos sobre cómo implementar DataOps en Databricks les recomendamos este webinar.