Publicación: 28 de noviembre de 2023
Colaboradores: Phill Powell e Ian Smalley
Como el término implica, la consolidación de datos significa reunir datos de diversas fuentes y almacenarlos dentro de una sola ubicación. La consolidación de datos permite a los usuarios captar datos desde un único punto de acceso, y fomenta la generación de insights.
A menudo se hace referencia a los datos simplemente como “datos”: una inclusión de información, como si cada unidad de datos fuera idéntica en estructura y propósito. Pero la realidad es muy diferente. Para la mayoría de las organizaciones, los datos no son como tener un carrito de compras lleno de manzanas. En cambio, ese carrito suele estar lleno, pero con muchos o la mayoría de sus datos en diferentes formatos (manzanas, plátanos, naranjas, etc.).
Dado que la organización promedio basada en datos depende de muchos tipos de datos procedentes de numerosas fuentes, las empresas con visión de futuro utilizan ahora herramientas de consolidación de datos para gestionar de forma más eficaz sus almacenes de datos llenos de información.
Aunque comienza su recorrido como datos sin procesar, las empresas pueden aplicar analytics de datos a esa información y obtener insights de business intelligence. En este punto, depende de la organización implementar eficazmente ese análisis de datos en sus decisiones de negocio, pero al menos la empresa tendrá un acceso a datos más completo e inmediato que pueda fundamentar mejor su toma de decisiones.
Evalúe el riesgo y adopte medidas para proteger su negocio.
Suscríbase al boletín de IBM
La consolidación de datos (a menudo denominada integración de datos) ofrece varias ventajas clave:
En términos de impacto general, el mayor beneficio de la consolidación de datos a largo plazo puede ser cómo puede aclarar el proceso de toma de decisiones para toda una organización en todos los departamentos y funcionalidades al brindar datos relevantes a todo el personal necesario. La consolidación de datos también puede ayudar a una empresa a crear mejores interacciones con el público al analizar el total de los datos reunidos de los clientes y basar las acciones de la empresa en esas métricas.
Otro beneficio de disponer de todos los datos de una organización en un lugar centralizado es que abre la puerta al análisis de datos que pueden revelar ineficiencias considerables dentro de la empresa. Esas ineficiencias son como sanciones financieras impuestas contra esa organización. La mitigación de estas ineficiencias fomenta la reducción de costos. Y debido a que la calidad de los datos mejora con el proceso de consolidación, los sistemas de información funcionarán de manera más confiable.
Es algo que no se suele considerar: exactamente cuánto tiempo dedican todos los miembros de una organización a buscar la información necesaria entre todos los diferentes activos de datos recopilados por la empresa. Si esos activos son difíciles de localizar, se pierde más tiempo. Considere una mejor alternativa: contener todos estos datos diferentes dentro de un repositorio central, como un almacén de datos, donde se pueden reducir las tareas que consumen mucho tiempo.
Aunque no suele estar vinculada a la consolidación de datos, cabe señalar que las operaciones de emergencia relacionadas con la recuperación tras catástrofes probablemente se desarrollarán con mayor fluidez si los datos de una organización se encuentran en un repositorio central y si esos datos se han procesado y limpiado.
Se utiliza un número creciente de métodos para respaldar proyectos de consolidación de datos.
La técnica de consolidación de datos más importante se conoce como ETL (extracción, transformación y carga). Los procesos ETL comienzan con herramientas ETL que extraen información de fuentes de datos. Posteriormente, esos datos adoptan un formato informativo estándar. Por último, los datos se cargan en un destino seleccionado.
Una contraparte emergente de la estrategia ETL se llama ELT (extraer, cargar y transformar). La reorganización de los pasos de ELT es crucial. En ELT, los datos se extraen y luego se cargan en un tipo de área de preparación. Los datos permanecen ahí mientras varias entidades de la organización los estudian desde diferentes ángulos y, en última instancia, transforman los datos.
Mantener todos los datos en un repositorio centralizado es un enfoque práctico. Se puede lograr un mayor grado de seguridad con el uso de un almacén de datos que acepta los conjuntos de datos de varios sistemas fuente. Luego se pueden utilizar herramientas ETL para automatizar los datos y consolidarlos en el almacén.
El almacenamiento de datos se utiliza en parte para limpiar o procesar datos. Un lago de datos, por otro lado, es simplemente un repositorio que no ofrece ninguna de las capacidades de procesamiento de datos. Un lago de datos es esencialmente un lugar para conservar los datos mientras aún están sin procesar. Por lo general, aquí es donde una empresa puede depositar datos oscuros.
Todo es cuestión de escala. Un almacén de datos está orientado a aceptar y almacenar todos los datos. Un centro de datos es simplemente un almacén más pequeño con un enfoque mucho más estrecho. Por lo tanto, si bien una empresa utiliza un almacén de datos, un departamento o grupo dentro de esa empresa puede tener un mercado de datos específico para sus necesidades particulares.
En la era de la automatización, la programación manual parece anticuada. Sin embargo, hay muchas circunstancias que requieren un simple trabajo de consolidación de datos. Dicho trabajo se logra mediante la programación manual, como lo realiza un ingeniero de datos. El código que escribe el ingeniero ayuda a “acorralar” los datos en una ubicación.
Otra solución de consolidación de datos que las empresas deben considerar es la virtualización de datos, en la que los datos permanecen en sus silos existentes y se ven a través de una capa de virtualización que se agrega a cada fuente de datos. Desafortunadamente, existen limitaciones relacionadas con este método, incluida la escalabilidad reducida.
El enorme crecimiento de Big Data continúa sacudiendo al mundo tecnológico y debería hacerlo durante algún tiempo. Para el periodo de 2022 a 2030, Acumen Research and Consulting prevé que el mercado de Big Data continuará expandiéndose (el enlace se encuentra fuera de ibm.com) a una tasa de aproximadamente 12.7% al año. Según sus previsiones, ese mercado se disparará, pasando de un valor en 2021 de 163.5 millones de dólares a un mercado previsto para 2030 de 473.6 millones de dólares. A medida que el mercado de big data se expande, también lo hace la necesidad de una mayor consolidación de datos.
La automatización de los procesos manuales relacionados con la consolidación de datos es otra área que ha experimentado un desarrollo intenso en los últimos años. Esto ocurre en un momento en que hay una escasez relativa de talento en la ciencia de datos. Se estima que más del 60% de las horas de la ciencia de datos (el enlace se encuentra fuera de ibm.com) se usan en limpiar y procesar datos durante los procesos de consolidación. Esos procesos pueden y deben automatizarse (y cada vez serán cantidades mayores).
La seguridad de los datos también sigue en el centro de la escena, como reflejo de la continua y creciente amenaza de ciberataques o ataques de ransomware. En respuesta, las organizaciones están optando por las canalizaciones de datos, que ofrecen mayor seguridad a medida que las canalizaciones mueven, almacenan y analizan los datos.
Del mismo modo, otro acontecimiento reciente habla del creciente interés por proteger la privacidad de los consumidores, especialmente después de una serie de ciberataques de alto perfil que dieron lugar a la difusión masiva de datos de los consumidores. Las llamadas salas limpias de datos se están implementando cada vez más como una forma de interactuar con los consumidores respetando la privacidad. En las salas limpias de datos, las interacciones se estructuran de una manera que limita la cantidad de información del consumidor que normalmente recopila la organización.
Independientemente de las prioridades de su negocio, IBM ofrece las soluciones de hardware y software que necesita para almacenar y proteger de forma segura sus recursos clave, incluido el software de gestión de almacenamiento diseñado para ayudarle a consolidar los datos y hacer más con ellos.
¿Y si pudiera hacer más con sus datos mientras reduce la huella de carbono de su organización? El almacenamiento IBM FlashSystem le permite limitar el uso de energía, al tiempo que hace que el almacenamiento sea eficiente desde el punto de vista energético y le proporciona una funcionalidad añadida.
Obtenga las capacidades que su empresa necesita para ir más allá de la protección de datos y alcanzar una resiliencia de datos real. IBM Storage Defender proporciona visibilidad para la resiliencia de datos de principio a fin en sus cargas de trabajo primarias y secundarias.
Al aprovechar la plataforma de datos global de IBM Storage Scale, puede conectar los silos de datos de toda su organización con un ecosistema abierto de opciones de almacenamiento, que incluye plataformas ajenas a IBM, desde el edge hasta el núcleo de la nube.