Es muy sencillo, la mayoría de las organizaciones creen que sus datos no son confiables:

• El 82 % afirma que los problemas de calidad de los datos son una barrera para los proyectos de integración de datos¹
• El 80 % de los ejecutivos no confía en sus datos²

No se puede subestimar el impacto de estos datos incorrectos. En mayo de 2022, Unity Software descubrió que había estado ingiriendo datos incorrectos de un cliente importante, lo que provocó una caída del 30 % de las acciones de la empresa³ y, en última instancia, le costó a la empresa 110 millones de dólares en pérdidas^de ingresos 4.

Tradicionalmente, ha sido difícil identificar los datos erróneos hasta que es demasiado tarde. A diferencia de cuando una aplicación se cae y afecta a miles de usuarios inmediatamente, las empresas pueden operar con datos erróneos sin saberlo durante bastante tiempo. Por ejemplo, un equipo de ventas sabría de inmediato si un panel de control de Salesforce no se está cargando, pero no se sabe cuánto tiempo tardarían en darse cuenta de que un panel de control mostraba datos incorrectos.

La observabilidad de los datos es la mejor defensa contra la transmisión de datos erróneos. Monitoriza los canales de datos para garantizar la entrega completa, precisa y oportuna de los datos, de modo que los equipos de datos puedan evitar el tiempo de inactividad de los datos, cumplir con los SLA de datos y mantener la confianza de la empresa en los datos que ve.

Los sistemas de datos modernos proporcionan una amplia variedad de funcionalidades, lo que permite a los usuarios almacenar y consultar sus datos de muchas maneras diferentes. Por supuesto, cuantas más funciones agregue, más complicado será asegurarse de que su sistema funcione correctamente. Esta complicación incluye:

Más fuentes de datos externas

En el pasado, la infraestructura de datos se construía para manejar pequeñas cantidades de datos, generalmente datos operativos de unas pocas fuentes de datos internas, y no se esperaba que los datos cambiaran mucho. Ahora, muchos productos de datos dependen de datos de fuentes internas y externas, y el gran volumen y velocidad con el que se recopilan estos datos puede causar desviaciones inesperadas, cambios de esquema, transformaciones y retrasos.

Transformaciones más complicadas

La ingestión de más datos procedentes de fuentes de datos externas implica la necesidad de transformar, estructurar y agregar todos esos datos en todos los demás formatos para hacerlos utilizables. Peor aún, si esos formatos cambian, se produce un efecto dominó de errores posteriores, ya que la lógica estrictamente codificada no se adapta al nuevo esquema.

Demasiado enfoque en la ingeniería analítica

Las complejas canalizaciones de ingesta han creado un mercado de herramientas para simplificar este proceso de extremo a extremo, automatizando principalmente los procesos de ingesta y extracción, transformación, carga (ETL)/extracción, carga, transformación (ELT). Al combinarlos, se obtiene una plataforma de datos que la industria analítica ha denominado la “pila de datos moderna” o MDS. El objetivo del MDS es reducir el tiempo que tardan los datos en ponerse a disposición de los usuarios finales (normalmente analistas) para que puedan empezar a utilizarlos más rápidamente. Sin embargo, cuanta más automatización tenga, menos control tendrá sobre cómo se entregan los datos. Estas organizaciones necesitan crear canalizaciones de datos personalizadas para poder garantizar mejor que los datos se entreguen según lo esperado.

Las operaciones de datos (DataOps) son un flujo de trabajo que permite una canalización de entrega ágil y un bucle de retroalimentación para que las empresas puedan crear y mantener sus productos de manera más eficiente. DataOps permite a las empresas utilizar las mismas herramientas y estrategias en todas las fases de sus proyectos de análisis, desde la creación de prototipos hasta la implementación del producto.

El ciclo DataOps describe las actividades fundamentales necesarias para mejorar la gestión de datos dentro del flujo de trabajo de DataOps. Este ciclo consta de tres etapas distintas: detección, concienciación e iteración.

Detección

Es importante que este ciclo comience con la detección, porque los cimientos del movimiento DataOps se basan en una iniciativa de calidad de los datos. 

Esta primera etapa del ciclo de DataOps se centra en la validación. Estos incluyen las mismas comprobaciones de calidad de los datos que se han utilizado desde el inicio del almacén de datos. Estaban analizando el esquema de columna y las validaciones a nivel de fila. Básicamente, se asegura de que todos los conjuntos de datos se adhieran a las reglas de negocio de su sistema de datos.

Este marco de calidad de los datos que vive en la etapa de detección es importante, pero reaccionario por su propia naturaleza. Le brinda la posibilidad de saber si los datos que ya están almacenados en su data lake o almacén de datos (y que probablemente ya se están utilizando) están en la forma esperada.

También es importante tener en cuenta que está validando conjuntos de datos y siguiendo reglas comerciales que conoce. Si no conoce las causas de los problemas, no puede establecer nuevas normas empresariales para que las sigan sus ingenieros. Esta comprensión alimenta la demanda de un enfoque de observabilidad continua de datos que se vincule directamente con todas las etapas del ciclo de vida de sus datos, comenzando con sus datos de origen.

Concienciación

La concienciación es una etapa centrada en la visibilidad de la fase de DataOps. Aquí es donde entra en escena la conversación sobre el gobierno de datos y se introduce un enfoque que prioriza los metadatos. La centralización y estandarización de los metadatos de canalizaciones y conjuntos de datos en todo el ecosistema de datos ofrece a los equipos visibilidad de los problemas de toda la organización.

La centralización de los metadatos es crucial para que la organización conozca el estado de sus datos de un extremo a otro. Hacer esto le permite avanzar hacia un enfoque más proactivo para resolver problemas de datos. Si hay datos incorrectos que ingresan a su “dominio”, puede rastrear el error hasta cierto punto en el nivel superior de su sistema de datos. Por ejemplo, el equipo de ingeniería de datos A ahora puede pasar a ver las canalizaciones del equipo de ingeniería de datos B y ser capaz de comprender lo que está sucediendo y colaborar con ellos para solucionar el problema.

Lo contrario también se aplica. El equipo de ingeniería de datos B puede detectar un problema y rastrear el impacto que tendrá en las dependencias posteriores. Esto significa que el equipo de ingeniería de datos A sabrá que se producirá un problema y podrá tomar las medidas necesarias para contenerlo.

Iteración

Aquí, los equipos se centran en los datos como código. Esta etapa del ciclo se centra en el proceso. Los equipos se aseguran de contar con estándares repetibles y sostenibles que se aplicarán a todo el desarrollo de datos para garantizar que obtengan los mismos datos confiables al final de esas canalizaciones.

La mejora gradual del estado general de la plataforma de datos ahora es posible gracias a la detección de problemas, el conocimiento de las causas raíz ascendentes y los procesos eficientes para la iteración.

En conjunto, los cinco pilares de la observabilidad de los datos proporcionan información valiosa sobre la calidad y la fiabilidad de los datos.

1. Actualidad

La actualidad describe cómo actualizar sus datos y con qué frecuencia se actualizan. La obsolescencia de los datos se produce cuando hay intervalos importantes en el tiempo en los que los datos no se han actualizado. A menudo, cuando las canalizaciones de datos se rompen, se debe a un problema de actualización.   

2. Distribución

La distribución, un indicador del estado de los datos a nivel de campo, se refiere a si los datos se encuentran o no dentro de un rango aceptado. Las desviaciones de la distribución esperada pueden indicar problemas de calidad de los datos, errores o cambios en las fuentes de datos subyacentes.   

3. Volumen

El volumen se refiere a la cantidad de datos que se generan, se ingieren, se transforman y se mueven a través de varios procesos y canalizaciones. También hace referencia a la integridad de las tablas de datos. El volumen es un indicador clave de si la ingesta de datos cumple o no con los umbrales esperados.

4. Esquema

El esquema describe la organización de los datos. Los cambios de esquema suelen provocar datos rotos. La observabilidad de los datos ayuda a garantizar que los datos se organicen de forma coherente, sean compatibles entre diferentes sistemas y mantengan su integridad durante todo su ciclo de vida.  

5. Linaje

El propósito de linaje es responder a la pregunta: "¿Dónde?" cuando los datos se rompen. Analiza los datos desde su origen hasta su ubicación final y anota cualquier cambio, incluido lo que cambió, por qué cambió y cómo cambió a lo largo del camino. La mayoría de las veces, el linaje se representa visualmente.

La observabilidad de los datos admite la calidad de los datos, pero los dos son aspectos diferentes de la gestión de datos.

Si bien las prácticas de observabilidad de los datos pueden señalar problemas de calidad en los conjuntos de datos, no pueden garantizar por sí solas una buena calidad de los datos. Eso requiere esfuerzos para solucionar los problemas de datos y evitar que ocurran en primer lugar. Por otro lado, una organización puede tener una calidad de datos sólida incluso si no implementa una iniciativa de observabilidad de los datos.

La monitorización de la calidad de los datos mide si el estado de los conjuntos de datos es lo suficientemente bueno para sus usos previstos en aplicaciones operativas y analíticas. Para hacer esa determinación, los datos se examinan en función de varias dimensiones de calidad, como la precisión, la integridad, la coherencia, la validez, la fiabilidad y la puntualidad.

La observabilidad de los datos y el gobierno de datos son procesos complementarios que se apoyan mutuamente.

El gobierno de datos tiene como objetivo garantizar que los datos de una organización estén disponibles, sean utilizables, coherentes y seguros, y que se utilicen de conformidad con las normas y políticas internas. Los programas de gobierno a menudo incorporan o están estrechamente vinculados a los esfuerzos de mejora de la calidad de los datos. 

Un programa sólido de gobierno de datos ayuda a eliminar los silos de datos, los problemas de integración de datos y la mala calidad de los datos que pueden limitar el valor de las prácticas de observabilidad de datos. 

La observabilidad de los datos puede ayudar al programa de gobernanza al monitorizar los cambios en la calidad, disponibilidad y linaje de los datos.

No toda la observabilidad de los datos es igual. El nivel de contexto que puede lograr depende de los metadatos que pueda recopilar y proporcionar visibilidad. Esto se conoce como la jerarquía de observabilidad de los datos. Cada nivel es una base para el siguiente y le permite alcanzar granos cada vez más finos de observabilidad.

A continuación se detallan los pasos principales que normalmente implican la construcción de un proceso de observabilidad exitoso. El proceso implica la integración de diversas herramientas y tecnologías, así como la colaboración de diferentes equipos dentro de una organización.

• Defina las métricas clave: comience por identificar las métricas críticas que necesita rastrear. Esto podría incluir métricas de calidad de datos, volúmenes de datos, latencia, tasas de error y utilización de recursos. La elección de las métricas dependerá de las necesidades específicas de su negocio y de la naturaleza de su canalización de datos.
  
  
• Elija las herramientas adecuadas: a continuación, elija las herramientas que necesitará para la recopilación, el almacenamiento, el análisis y las alertas de datos. Asegúrese de que las herramientas que seleccione, incluidas las de código abierto, sean compatibles con su infraestructura existente y puedan manejar la escala de sus operaciones.
  
  
• Estandarizar bibliotecas: implemente una infraestructura que permita a los equipos hablar el mismo idioma y comunicarse abiertamente sobre los problemas. Esto incluye bibliotecas estandarizadas para API y gestión de datos (es decir, consultar almacén de datos, leer/escribir desde el data lake, extraer datos de API, etc.) y calidad de los datos.
  
  
• Instruya su canalización de datos: la instrumentación implica integrar bibliotecas o agentes de recopilación de datos en su canalización de datos. Esto le permite recopilar las métricas definidas de varias etapas de su canalización. El objetivo es lograr una visibilidad integral, por lo que es clave asegurarse de que se instrumenten todas las etapas cruciales.
  
  
• Configure una solución de almacenamiento de datos: las métricas recopiladas deben almacenarse en una base de datos o en una plataforma de series temporales que pueda escalar a medida que crecen los datos. Asegúrese de que la solución de almacenamiento que elija pueda manejar el volumen y la velocidad de sus datos.
  
  
• Implemente herramientas de análisis de datos: estas herramientas ayudan a obtener información de las métricas almacenadas. Para un análisis más profundo, considere la posibilidad de utilizar herramientas que proporcionen visualizaciones intuitivas y admitan consultas complejas.
  
  
• Configure alertas y notificaciones: establezca un sistema de envío de alertas automatizadas cuando se superen umbrales predefinidos o se detecten anomalías. Esto ayudará a su equipo a responder rápidamente a los problemas, minimizando cualquier posible tiempo de inactividad.
  
  
• Intégrese con las plataformas de gestión de incidentes: además de detectar problemas, la observabilidad también implica la gestión eficaz de los problemas. La integración de su canal de observabilidad con un sistema de gestión de incidentes puede ayudar a optimizar los flujos de trabajo de respuesta.
  
  
• Revise y actualice periódicamente su canal de observabilidad: a medida que su empresa evolucione, también lo harán sus datos y requisitos. La revisión y actualización periódicas de la canalización de observabilidad garantiza que seguirá proporcionando la información y el rendimiento necesarios.

Crear una canalización de observabilidad es un proceso continuo de aprendizaje y refinamiento. Es crucial empezar poco a poco, aprender de la experiencia y ampliar gradualmente sus capacidades de observabilidad.