¿Qué es la ingesta de datos?

La ingesta de datos es el proceso de tomar datos sin procesar de diversas fuentes y prepararlos para el análisis. Esta canalización en varios pasos garantiza que los datos sean accesibles, precisos, coherentes y utilizables para la inteligencia empresarial. Es crucial para respaldar los análisis basados en SQL y otras cargas de trabajo de procesamiento.

Detección de datos: fase exploratoria en la que se identifican los datos disponibles en toda la organización Comprender el panorama, la estructura, la calidad y los usos potenciales de los datos sienta las bases para una ingesta de datos satisfactoria.

Adquisición de datos: una vez identificadas las fuentes de datos, la adquisición de datos consiste en recopilarlos. Esto puede incluir la recuperación de datos de muchas fuentes, desde bases de datos estructuradas e interfaces de programación de aplicaciones (API) hasta formatos no estructurados como hojas de cálculo o documentos en papel. La complejidad reside en manejar la variedad de formatos de datos y volúmenes potencialmente grandes y salvaguardar la integridad de los datos durante todo el proceso de adquisición.

Validación de los datos: tras adquirir los datos, la validación garantiza su exactitud y coherencia. Los datos se comprueban para detectar errores, incoherencias y valores omitidos. Los datos se limpian, se hacen fiables y se preparan para su posterior procesamiento mediante diversas comprobaciones, como la validación de tipos de datos, la validación de rangos y la validación de unicidad.

Transformación de datos: aquí es donde los datos validados se convierten en un formato adecuado para el análisis. Esto puede implicar la normalización (eliminación de redundancias), la agregación (resumen de datos) y la estandarización (formato coherente). El objetivo es facilitar la comprensión y el análisis de los datos.

Carga de datos: el paso final coloca los datos transformados en su ubicación designada, normalmente un almacén de datos o data lake, donde están fácilmente disponibles para el análisis y la elaboración de informes Este proceso de carga puede realizarse por lotes o en tiempo real, en función de las necesidades específicas. La carga de datos significa la finalización del proceso de ingesta de datos, en el que los datos están preparados y listos para la toma de decisiones informadas y la generación de valiosa inteligencia empresarial.

Cuando se ingieren datos, garantizar su calidad es primordial.

• Tratamiento de los valores omitidos: las técnicas incluyen la imputación (sustitución de los valores omitidos por medidas estadísticas), la eliminación (supresión de registros o campos con valores perdidos si representan una pequeña parte del conjunto de datos) y la predicción (mediante algoritmos de machine learning para predecir y completar los valores omitidos basándose en otros datos disponibles).
• Identificación y corrección de valores atípicos: las técnicas habituales incluyen métodos estadísticos como el uso de puntuaciones z o el método del rango intercuartílico (IQR) para detectar valores atípicos. Herramientas de visualización como gráficos de caja o de dispersión y aplicación de transformaciones logarítmicas o de raíz cuadrada para reducir el impacto de los valores atípicos.
• Estandarización de los formatos de datos: la normalización ayuda a garantizar la coherencia en todo el conjunto de datos, lo que facilita el análisis. Esto incluye tipos de datos uniformes, normalización y asignación de códigos.

El gobierno de datos ayuda a mantener la calidad de los datos durante la ingesta estableciendo políticas y normas para su tratamiento. Esto garantiza la rendición de cuentas mediante funciones y responsabilidades definidas. Implantar métricas y sistemas de monitorización para rastrear y abordar los problemas, facilitar el cumplimiento de normativas como GDPR o HIPAA y promover la coherencia mediante la estandarización de las definiciones y formatos de los datos.

La ingesta, extracción, transformación y carga de datos (ETL) y la extracción, carga y transformación (ELT) tienen un objetivo común, pero difieren en sus planteamientos.

• Ingesta de datos: la ingesta de datos engloba todas las herramientas y procesos responsables de recopilar, extraer y transportar datos de diversas fuentes para su posterior procesamiento o almacenamiento.
• ETL: extraer, transformar y cargar (extract, transform and load) es el proceso por el cual los datos se extraen de su sistema de origen, se transforman para cumplir los requisitos del sistema de destino y, finalmente, se cargan en el almacén de datos o data lake designado.
• ELT: extraer, cargar y transformar (extract, load and transform) es el proceso por el que los datos se extraen de su fuente. Los datos sin procesar se cargan en el sistema de destino y luego se transforman a petición y según sea necesario para análisis específicos. ELT utiliza las capacidades de las plataformas en la nube para manejar grandes volúmenes de datos sin procesar y realizar transformaciones de manera eficiente.

La ingesta de datos y la integración de datos tienen objetivos distintos dentro de la canalización de datos.

Ingesta de datos: actúa como punto de entrada de datos procedentes de diversas fuentes, con la preocupación principal de transferirlos correctamente, con una transformación mínima para mantener la estructura original de los datos.

Integración de datos: Se centra en transformar y unificar los datos procedentes de múltiples fuentes antes de introducirlos en un sistema de destino, normalmente un almacén de datos o un data lake. La integración de datos puede implicar su limpieza, normalización y enriquecimiento para garantizar su coherencia y precisión en todo el conjunto de datos.

Las herramientas de ingesta de datos ofrecen diversas soluciones para satisfacer distintas necesidades y conocimientos técnicos.

Herramientas de código abierto: herramientas que proporcionan acceso gratuito al código fuente del software, dando a los usuarios un control total y la posibilidad de personalizar la herramienta.

Herramientas patentadas: soluciones desarrolladas y autorizadas por proveedores de software, que ofrecen funciones predefinidas y planes de precios variados, pero que pueden conllevar vendor lock-in y costes de licencia continuos.

Herramientas basadas en la nube: herramientas de ingesta alojadas en un entorno de nube, que simplifican la implementación y el mantenimiento y ofrecen escalabilidad sin necesidad de inversión inicial en infraestructura.

Herramientas locales: estas herramientas se instalan y gestionan en una red local o en una nube privada, lo que proporciona un mayor control sobre la seguridad de los datos, pero requiere una inversión en hardware y un soporte informático continuo.

A la hora de equilibrar las necesidades y la experiencia, existen varios enfoques para construir canalizaciones de ingesta de datos:

Canalizaciones codificadas a mano: estas canalizaciones a medida ofrecen el máximo control, pero requieren una gran experiencia de desarrollo.

Herramientas prediseñadas de conexión y transformación: este enfoque proporciona una interfaz intuitiva, pero requiere la gestión de múltiples canalizaciones.

Plataformas de integración de datos: estas plataformas ofrecen una solución integral para todas las etapas del viaje de los datos, pero exigen conocimientos de desarrollo para su configuración y mantenimiento.

DataOps: este enfoque consiste en fomentar la colaboración entre los ingenieros de datos y los consumidores de datos y automatizar partes del proceso de ingesta de datos para liberar tiempo valioso.

Aunque es fundamental para las canalizaciones de datos, el proceso de ingesta de datos no está exento de complejidades.

Seguridad de los datos: una mayor exposición eleva el riesgo de violaciones de seguridad de los datos confidenciales. Cumplir la normativa sobre seguridad de datos añade complejidad y costes.

Escala y variedad: los cuellos de botella en el rendimiento pueden surgir debido al creciente volumen, velocidad y variedad de los datos.

Fragmentación de datos: la incoherencia puede obstaculizar los esfuerzos de análisis de datos y complicar la creación de una visión unificada de los mismos. Cuando los datos de origen cambian sin que se actualicen en el sistema de destino, se produce una desviación del esquema, lo que puede interrumpir los flujos de trabajo.

Garantía de calidad de los datos: la intrincada naturaleza de los procesos de ingesta de datos puede comprometer su fiabilidad.