Fecha de publicación: 23 de julio de 2024
Colaboradores: Tim Mucci
La procedencia de los datos es el registro histórico de los datos que detalla sus orígenes mediante la captura de sus metadatos a medida que pasan por diversos procesos y transformaciones. La procedencia de los datos se ocupa principalmente de la autenticidad, proporcionando detalles como quién creó los datos, el historial de modificaciones y quién realizó esos cambios.
La procedencia de los datos protege la integridad y fiabilidad de los mismos dentro de una organización al documentar meticulosamente su historial, transformaciones y recorrido a través de varios procesos. Este contexto histórico ayuda al cumplimiento normativo, ya que salvaguarda la precisión y legitimidad de los datos, asegurando que las organizaciones cumplan con los estándares legales y del sector. Además, la procedencia de los datos mejora la transparencia y la responsabilidad en el manejo de estos, un aspecto crucial de la ciberseguridad.
Esta guía ofrece conocimientos sobre cómo elegir las bases de datos adecuadas para las diferentes necesidades, ya sea para análisis fiables e IA generativa, o para crear aplicaciones escalables y resilientes.
Los datos nunca deberían ser un misterio; sin embargo, a medida que el big data sigue creciendo, pueden convertirse rápidamente en uno. Las organizaciones necesitan saber dónde empezaron los datos y cómo se mueven y se transforman a través del pipeline para proteger sus intereses empresariales, y también los intereses de empleados y clientes.
Para una organización que busca sacar el máximo partido a sus datos, disponer de metodologías para comprender sus orígenes es esencial para la autenticidad, la fiabilidad y la integridad de los mismos. La procedencia aporta transparencia a los investigadores y analistas de datos y ofrece una cadena de información en la que los administradores o científicos pueden realizar un seguimiento de los problemas de los datos a medida que estos se adaptan a nuevos fines. Este registro exhaustivo garantiza que los datos en los procesos de toma de decisiones sean precisos y fiables. Cuando los líderes confían en la autenticidad de sus datos, pueden tomar decisiones más informadas y eficaces. La transparencia en la investigación es vital para la reutilización y reproducibilidad de los resultados de esta, y crea una base sólida para la integridad de los datos.
La procedencia de los datos y el linaje de datos son conceptos estrechamente relacionados pero sirven para propósitos diferentes. El linaje de datos rastrea el movimiento y las transformaciones de una porción o conjuntos de datos a través de varios sistemas, procesos y aplicaciones, centrándose en la forma en que los datos fluyen y cambian.
La procedencia de los datos es el registro de metadatos de la fuente de los datos, que proporciona contexto histórico y autenticidad. Mientras que el linaje de datos ayuda a optimizar y solucionar problemas de pipelines de datos, la procedencia de los datos ayuda a validar y auditar los mismos.
La procedencia de los datos utiliza diversas tecnologías para ayudar a mejorar la fiabilidad de estos. Implica rastrear los datos desde su creación a través de varias transformaciones hasta su estado actual, manteniendo un historial detallado de cada ciclo de vida de los activos de datos. Las dependencias en los datos destacan las relaciones entre conjuntos de datos, transformaciones y procesos, proporcionando una visión holística de la procedencia de los datos y revelando cómo los cambios en una parte del pipeline pueden afectar a otras. Si hay una discrepancia en los datos, las dependencias ayudan a rastrear el problema hasta el proceso específico, el creador o el conjunto de datos que lo causó.
Los algoritmos se utilizan con frecuencia en este proceso para capturar y documentar automáticamente el flujo de datos a través de diferentes sistemas, lo que reduce el esfuerzo manual y minimiza los errores. Certifican la coherencia y la precisión al estandarizar el proceso de datos y permitir el seguimiento en tiempo real de las transformaciones de los mismos. Los algoritmos avanzados pueden detectar anomalías o patrones inusuales para ayudar a identificar posibles problemas de integridad de los datos o violaciones de seguridad. Las organizaciones también utilizan algoritmos para analizar la información de procedencia, identificar las ineficiencias y respaldar el cumplimiento al proporcionar registros detallados y precisos de los requisitos reglamentarios.
Las API se utilizan para facilitar una integración y comunicación fluidas entre diferentes sistemas, herramientas y fuentes de datos. Permiten recopilar, compartir y actualizar de forma automatizada la información sobre la procedencia en diversas plataformas, lo que mejora la precisión y la exhaustividad de los registros de procedencia.
La procedencia de los datos proporciona a las organizaciones el contexto necesario para aplicar políticas, estándares y prácticas que rigen el uso de los mismos dentro de la empresa. Varias herramientas admiten la procedencia de los datos, incluido CamFlow Project, el sistema de flujo de trabajo científico de código abierto Kepler, Linux Provenance Modules y Open Provenance Model. Estas herramientas y las de linaje de datos, gobierno, gestión y observabilidad forman un pipeline de datos completo y eficiente.
La procedencia de los datos tiene aplicaciones prácticas en varios sectores. Ayuda a establecer la fiabilidad de los datos y proporciona un medio para que los equipos utilicen con confianza los datos de fuentes fiables y auténticas.
La monitorización de la calidad de los datos es una aplicación popular de la procedencia de mismos. Permite a las organizaciones rastrear los orígenes de las discrepancias de datos, identificando cuándo y dónde surgen los problemas de calidad de estos. En caso de incidente de seguridad, comprender la procedencia de la información confidencial puede ayudar a investigar la causa raíz del problema de datos, rastrear su ruta e identificar posibles infracciones o infracciones de políticas.
La depuración con información de procedencia ayuda a los desarrolladores y analistas de datos a rastrear el origen y la transformación de los mismos, identificando problemas y corrigiendo errores de manera eficiente. Este conocimiento detallado de los flujos de datos y las dependencias garantiza la precisión y la fiabilidad de estos, reforzando los sistemas generales de gestión de datos .
En la investigación farmacéutica, la procedencia de los datos protege la integridad de los utilizados en los ensayos clínicos mediante el seguimiento de sus orígenes, modificaciones y personas responsables. Las empresas de comercio electrónico utilizan la procedencia de los datos para gestionar los de los clientes, mejorando los motores de recomendación al basar sus recomendaciones en datos fiables.
La procedencia de los datos en la investigación clínica y sanitaria ayuda a proteger la precisión y fiabilidad de los datos confidenciales, como los de los pacientes. Los registros precisos de procedencia de los datos también ayudan a mantener el cumplimiento de las regulaciones de privacidad de datos personales, como la HIPAA y el RGPD.
La procedencia de los datos garantiza la transparencia de la cadena de suministro mediante la creación de un registro digital del origen, los pasos de proceso y las certificaciones de cada producto. Esta transparencia permite verificar la autenticidad y calidad del producto y el cumplimiento de las leyes y las prácticas éticas de abastecimiento. La procedencia de los datos establece pistas de auditoría claras para el acceso y la manipulación de datos en ciberseguridad, lo que ayuda a las organizaciones a identificar actividades no autorizadas y responder rápidamente a los incidentes de seguridad.
La comprensión de la procedencia de los datos supone un reto, ya que implica recrear el historial completo de un punto de datos, incluida su fuente y cualquier modificación en varios sistemas. Es importante confirmar que la información de procedencia en sí es segura y fiable. La integración de diferentes fuentes de datos, la adopción de formatos estándar para la información de procedencia y la protección de los metadatos confidenciales del acceso no autorizado pueden ser perspectivas complicadas para muchas organizaciones.
Las organizaciones deben establecer un marco de gobierno de datos que fije reglas y normas para la gestión de los mismos, incluido el seguimiento de la procedencia, para gestionar eficazmente dicha procedencia. La implementación de herramientas de seguimiento, como la blockchain y las herramientas de linaje de datos (DLT), puede automatizar el proceso de seguimiento y mejorar la precisión de los registros de metadatos de procedencia. El fomento de una cultura de administración y educación en materia de datos ayuda a los empleados a comprender la importancia de la procedencia de estos y les incita a participar en el mantenimiento de registros precisos.
El impulso de iniciativas estratégicas basadas en datos y vinculadas a indicadores clave de rendimiento (KPI) mensurables es esencial para integrar las prácticas de procedencia de datos en las operaciones diarias y la cultura de la organización. Las iniciativas bien desarrolladas garantizan la mejora continua y el cumplimiento de las normativas en evolución y ayudan a mantener el ritmo de los avances tecnológicos.
IBM Manta Data Lineage ayuda a mejorar la calidad, el gobierno y la conformidad de los datos mediante el seguimiento automático de cómo fluyen los mismos en toda la organización. Esta visualización ayuda a los usuarios a comprender cómo se utilizan y transforman los datos en varios sistemas.
IBM Cloud Pak for Data puede ayudar a mejorar la calidad, la privacidad y el cumplimiento de los datos. También puede ayudar a los usuarios a encontrar y comprender los datos con mayor facilidad.
Conozca la diferencia entre integridad de datos y calidad de datos y la importancia de contar con datos fiables para tomar decisiones fiables. Obtenga conocimientos sobre los métodos para mejorar la calidad de los datos dentro de una organización.
Obtenga más información sobre la gestión de datos en la era de la IA generativa. Descubra los retos de integrar los datos empresariales con las soluciones de IA generativa y la importancia del gobierno de datos para mitigar los riesgos y garantizar el cumplimiento.
Descubra cómo IBM y Data Trust Alliance están creando directrices que hacen que los datos sean muy claros. Estas normas ayudan a garantizar que la IA se construya sobre una base de transparencia, haciéndola más fiable y digna de confianza.