Inicio
Topics
Fiabilidad de los datos
La fiabilidad de los datos se refiere a su integridad y exactitud. Implica establecer en qué medida seguirán siendo coherentes y sin errores a lo largo del tiempo, sea cual sea su fuente.
Cuanto más fiables sean los datos, mayor será su fiabilidad. La confianza en los datos proporciona una base sólida para extraer conclusiones significativas y tomar decisiones bien fundadas, ya sea en la investigación académica, el análisis empresarial o la política pública.
Los datos imprecisos o poco fiables pueden llevar a conclusiones erróneas, modelos defectuosos y una mala toma de decisiones. Es por eso que cada vez más empresas están introduciendo directores de datos, un número que se ha duplicado entre las principales empresas que cotizan en bolsa entre 2019 y 2021.1
Dados los riesgos asociados a unos datos de mala calidad y las ventajas competitivas de unos datos precisos, hacer que los datos sean fiables es una prioridad para todas las empresas. Para tener éxito, es importante entender en qué consisten la evaluación y la fiabilidad, que se basan principalmente en la observabilidad de los datos, y después definir claramente las responsabilidades y los objetivos de mejora.
La implementación de la observabilidad de datos de extremo a extremo permite a los ingenieros de datos hacer que toda su pila sea más fiable al identificar, investigar y resolver los problemas asociados a la mala calidad de los datos antes de que se propaguen.
Vea cómo la observabilidad proactiva de los datos puede ayudarle a detectar antes los incidentes de datos y a resolverlos más rápidamente.
Para medir la fiabilidad de los datos hay que tener en cuenta tres aspectos principales:
1. Validez
La validez de los datos depende de si están almacenados y formateados correctamente y de si miden lo que deben medir. Por ejemplo, si se recogen nuevos datos sobre un fenómeno concreto del mundo real, los datos sólo serán válidos si reflejan con exactitud ese fenómeno y no están influidos por factores externos.
2. Exhaustividad
Evaluar la exhaustividad de los datos consiste en comprobar si falta algo en la información. Aunque los datos sean válidos, pueden estar incompletos si faltan campos cruciales que podrían cambiar la comprensión de la información. Los datos incompletos pueden dar lugar a análisis sesgados o incorrectos.
3. Unicidad
Evaluar la unicidad de los datos consiste en comprobar si hay duplicados en el conjunto de datos. Garantizar la unicidad de los datos evita la sobrerrepresentación, que es sinónimo de inexactitud.
Para ir un paso más allá, algunos equipos de datos también tienen en cuenta otros factores:
- Si se ha modificado la fuente de datos y cuándo
- Qué cambios se han introducido en los datos
- La frecuencia de actualización de los datos
- El origen de los datos
- Cuántas veces se han utilizado los datos
Medir la fiabilidad de los datos es esencial para ayudar a los equipos a generar confianza en sus conjuntos de datos y detectar posibles problemas en una fase temprana. La comprobación periódica y eficaz de los datos puede ayudar a los equipos de datos a localizar rápidamente los problemas para determinar su origen y tomar medidas para solucionarlos.
Las plataformas de datos modernas no solo se basan en la tecnología, sino también en los principios filosofía de DevOps, DataOps y ágil. Aunque sus objetivos son completamente diferentes, tanto DevOps como DataOps se acercan a la filosofía ágil, cuyo objetivo es acelerar los ciclos de trabajo de los proyectos.
DevOps se centra en el desarrollo de productos, mientras que DataOps se centra en crear y mantener un sistema de arquitectura de datos distribuidos que aporte valor empresarial a partir de los datos.
Ágil es una filosofía para el desarrollo de software que promueve la velocidad y la eficiencia, pero sin eliminar el factor "humano". Pone énfasis en las conversaciones cara a cara como forma de maximizar las comunicaciones, al tiempo que hace hincapié en la automatización como medio para minimizar los errores.
La fiabilidad y la validez de los datos abordan dos aspectos distintos de la calidad de los datos.
En el contexto de la gestión de datos, ambas cualidades desempeñan un papel crucial para garantizar la integridad y la utilidad de los datos disponibles.
- La fiabilidad de los datos se centra en la coherencia y la repetibilidad de los datos en diferentes observaciones o mediciones. Básicamente, los datos fiables deben arrojar los mismos resultados o resultados muy similares cada vez que se repite una medición u observación concreta. Se trata de garantizar que los datos sean estables y coherentes a lo largo del tiempo y en diferentes contextos.
- La validez de los datos, en el sentido de validación de datos, se refiere a la exactitud, estructura e integridad de los datos. Garantiza que cualquier dato nuevo tenga el formato correcto, cumpla con las normas necesarias, sea exacto y no esté corrupto. Por ejemplo, una columna de fecha debe tener fechas y no caracteres alfanuméricos. Los datos no válidos pueden dar lugar a diversos problemas, como errores de aplicación, resultados incorrectos de los análisis de datos y, en general, datos de mala calidad.
Aunque la fiabilidad y la validez de los datos están relacionadas, no son intercambiables. Por ejemplo, se puede tener un proceso de recopilación de datos muy fiable (que proporcione resultados coherentes y repetibles), pero si los datos recopilados no están validados (no se ajustan a las normas o formatos requeridos), el resultado final seguirá siendo datos de baja calidad.
Por el contrario, se pueden tener datos perfectamente válidos (que cumplan todas las normas de formato e integridad), pero si el proceso de recopilación de esos datos no es fiable (da resultados diferentes con cada medición u observación), la utilidad y fiabilidad de esos datos pasa a ser cuestionable.
Para mantener la fiabilidad de los datos, debe establecerse y seguirse de cerca un método coherente de recogida y tratamiento de todo tipo de datos. Para que los datos sean válidos, deben establecerse protocolos rigurosos de validación de datos. Esto puede implicar comprobar el tipo de datos, su extensión, su integridad referencial, etc. Estos protocolos ayudarán a garantizar que los datos están en el formato correcto y cumplen todas las normas necesarias.
Todas las iniciativas de fiabilidad de datos plantean problemas y retos considerables en muchos ámbitos de la investigación y el análisis de datos, entre ellos:
La forma en que se recogen los datos puede afectar en gran medida a su fiabilidad. Si el método utilizado para recoger los datos es defectuoso o sesgado, los datos no serán fiables. Además, pueden producirse errores de medición en el punto de recogida de los datos, durante la introducción de los mismos o cuando se procesan o analizan.
Para ser fiables, los datos deben ser coherentes a lo largo del tiempo y en diferentes contextos. La falta de coherencia de los datos puede deberse a cambios en las técnicas de medición, las definiciones o los sistemas utilizados para recopilar datos.
El error humano es siempre una fuente potencial de falta de fiabilidad. Esto puede ocurrir de muchas maneras, como la introducción incorrecta de datos, la codificación incoherente de los datos y la interpretación errónea de los mismos.
En algunos casos, lo que se mide puede cambiar con el tiempo, provocando problemas de fiabilidad. Por ejemplo, un modelo de machine learning que predice el comportamiento de los consumidores puede ser fiable cuando se crea por primera vez, pero puede volverse impreciso a medida que cambia el comportamiento de los consumidores.
Las prácticas incoherentes de gobierno de datos y la falta de administración de los datos pueden dar lugar a una falta de responsabilidad en cuanto a la calidad y fiabilidad de los datos.
Cuando las fuentes de datos cambian o se actualizan, puede alterarse la fiabilidad de los datos, sobre todo si cambian sus formatos o estructuras. La integración de datos procedentes de distintas fuentes también puede provocar problemas de fiabilidad en la plataforma de datos moderna.
Los registros o entradas duplicados pueden dar lugar a imprecisiones y sesgar los resultados. Identificar y tratar los duplicados es un reto para mantener la fiabilidad de los datos.
Abordar estos problemas y retos requiere una combinación de procesos de calidad de datos, gobierno de datos, validación de datos y prácticas de gestión de datos.
Garantizar la fiabilidad de sus datos es un aspecto fundamental de una buena gestión de los mismos. Estas son algunas de las buenas prácticas para mantener y mejorar la fiabilidad de los datos en toda su pila:
- Estandarice la recopilación de datos: establezca procedimientos claros y estandarizados para la recopilación de datos. Esto puede ayudar a reducir la variación y garantizar la coherencia a lo largo del tiempo.
- Forme a los encargados de la recopilación de datos: las personas que recopilan datos deben recibir una formación adecuada para comprender los métodos, las herramientas y los protocolos a fin de minimizar los errores humanos. Deben ser conscientes de la importancia de contar con datos fiables y de las consecuencias de los datos poco fiables.
- Auditorías regulares: las auditorías de datos regulares son cruciales para detectar incoherencias o errores que podrían afectar la fiabilidad. Estas auditorías deben centrarse en la detección de errores, pero también en la identificación de las causas raíces de los errores y en la implementación de medidas correctivas.
- Utilice instrumentos fiables: utilice herramientas e instrumentos cuya fiabilidad haya sido probada. Por ejemplo, si utiliza el procesamiento de flujos, pruebe y supervise los flujos de eventos para asegurarse de que no se pierden o duplican datos.
- Limpieza de datos: emplee un riguroso proceso de limpieza de datos. Esto debe incluir la identificación y el tratamiento de los valores atípicos, los valores que faltan y las incoherencias. Utilice métodos sistemáticos para gestionar los datos que faltan o los datos problemáticos.
- Mantenga un diccionario de datos: un diccionario de datos, o data dictionary, es un repositorio centralizado para proporcionar información sobre los datos, es decir, su tipo, significado, relación con otros datos, origen, uso y formato. Ayuda a mantener la coherencia de los datos y garantiza que todos los utilicen e interpreten de la misma manera.
- Garantice la reproducibilidad de los datos: documentar todos los pasos de la recogida y el procesamiento de datos garantiza que otros puedan reproducir sus resultados, lo cual es un aspecto importante de la fiabilidad. Esto incluye explicar claramente las metodologías utilizadas y garantizar el control de versiones de los datos y el código.
- Implemente el gobierno de datos: las buenas políticas de gobierno de datos pueden ayudar a mejorar la fiabilidad de los datos. Esto implica disponer de políticas y procedimientos claros sobre quién puede acceder a los datos y modificarlos, y mantener registros claros de todos los cambios realizados en los conjuntos de datos.
- Recuperación y copia de seguridad de datos: realice copias de seguridad periódicas de los datos para evitar la pérdida de datos. Además, asegúrese de que haya un sistema fiable para la recuperación de datos en caso de pérdida de datos.
La observabilidad de los datos consiste en comprender la condición y el estado de los datos en el sistema. Incluye una serie de actividades que van más allá de la mera descripción de un problema. La observabilidad de los datos puede ayudar a identificar, localizar y resolver problemas casi en tiempo real.
Y lo que es más importante, la observabilidad de los datos es esencial para anticiparse a los problemas de datos erróneos, que son la base de la fiabilidad de los datos. Las prácticas de observabilidad incluyen la supervisión, las alertas, el seguimiento, la comparación, el análisis, el registro, el seguimiento de los acuerdos de nivel de servicio y el linaje de datos. En conjunto, todas estas actividades ayudan a evaluar la calidad de los datos de extremo a extremo, incluida la fiabilidad.
Cuando se hace bien, la observabilidad de los datos puede ayudar a mejorar la fiabilidad de los datos al permitir identificar los problemas en una fase temprana, de modo que todo el equipo de datos pueda responder más rápidamente, comprender el alcance del impacto y restablecer la fiabilidad.
Mediante la aplicación de prácticas y herramientas de observabilidad de datos, las organizaciones pueden mejorar la fiabilidad de los datos, garantizando que sean precisos, coherentes y fiables a lo largo de todo su ciclo de vida. Esto es especialmente crucial en entornos basados en datos donde los datos de alta calidad pueden tener un impacto directo en la inteligencia empresarial, las decisiones basadas en datos y los resultados empresariales.
IBM® Databand es un software de observabilidad para canalizaciones y almacenes de datos, que recopila automáticamente metadatos para crear líneas de base históricas, detectar anomalías y clasificar alertas para solucionar problemas de calidad de datos.
Al dar soporte a los patrones ETL y ELT, IBM® DataStage ofrece una integración de datos flexible y casi en tiempo real tanto en las instalaciones como en la nube.
IBM® Knowledge Catalog, un catálogo de datos inteligente en la era de la IA, le permite acceder, conservar, categorizar y compartir datos, activos de conocimiento y sus relaciones, independientemente de dónde se encuentren.
Ahora puede ampliar los análisis y la IA con un almacén de datos adaptado a sus necesidades, basado en una arquitectura de lago abierto y respaldado por consultas, gobierno y formatos de datos abiertos para acceder a los datos y compartirlos.
Descubra qué es la observabilidad de datos, por qué es importante, cómo ha evolucionado junto con los sistemas de datos modernos y las buenas prácticas para implementar un marco de observabilidad de datos.
Garantizar datos de alta calidad es responsabilidad de los ingenieros de datos y de toda la organización. En este artículo se describe la importancia de la calidad de los datos, cómo auditarlos y supervisarlos y cómo conseguir la participación de las principales partes interesadas.
En lo que respecta a la calidad de los datos, hay bastantes parámetros importantes, como la exhaustividad, la coherencia, la conformidad, la exactitud, la integridad, la puntualidad, la disponibilidad y la continuidad, por nombrar sólo algunos.
Notas a pie de página
1. "In data we trust" (Creemos en los datos), PwC, 28 de abril de 2022