Publicado: 28 de noviembre de 2023
Colaboradores: Phill Powell, Ian Smalley
Como implica el término, la consolidación de datos significa reunir datos de varias fuentes y montarlos en una sola ubicación. La consolidación de datos permite a los usuarios interactuar con los datos desde un único punto de acceso y fomenta la generación de información sobre los datos.
A menudo se hace referencia a los datos simplemente como "datos", una agregación de información, como si cada unidad de datos fuera idéntica en estructura y propósito. Pero la realidad es muy diferente. Para la mayoría de las organizaciones, los datos no son como tener un carrito de compras lleno de manzanas. En su lugar, ese carrito suele estar lleno, pero con gran o mayor parte de sus datos en diferentes formatos (manzanas, plátanos, naranjas, etc.).
Dado que la organización promedio basada en datos depende de muchos tipos de datos de numerosas fuentes de datos, las empresas con visión de futuro ahora utilizan herramientas de consolidación de datos para gestionar de manera más eficiente sus almacenes de datos repletos de información.
Aunque comienza su viaje como datos en bruto, las empresas pueden aplicar análisis de datos a esa información y obtener información de inteligencia empresarial. En este punto, depende de la organización implementar eficazmente ese análisis de datos en sus decisiones empresariales, pero al menos la empresa tendrá un acceso más completo e inmediato a los datos que pueda fundamentar mejor su toma de decisiones.
Evalúe su riesgo y adopte medidas para proteger su empresa.
Suscríbase al boletín de IBM
La consolidación de datos (a menudo denominada integración de datos) ofrece varias ventajas clave:
En términos de impacto general, el mayor beneficio de la consolidación de datos a largo plazo puede ser la forma en que puede aligerar el proceso de toma de decisiones para toda una organización en todos los departamentos y funcionalidades proporcionando datos relevantes a todo el personal necesario. La consolidación de datos también puede ayudar a una empresa a crear mejores interacciones con el público analizando el total de datos de clientes ensamblados y basando las acciones de la empresa en esas métricas.
Otra ventaja de disponer de todos los datos de una organización recopilados en un lugar centralizado es que abre la puerta al análisis de datos que puede revelar ineficiencias considerables dentro de la empresa. Esas ineficiencias son como las penalizaciones financieras aplicadas a esa organización. La mitigación de estas ineficiencias fomenta la reducción de costes. Y debido a que la calidad de los datos mejora con el proceso de consolidación, los sistemas de información funcionarán de manera más confiable.
Es algo que no se suele tener en cuenta: cuánto tiempo dedican exactamente todos los miembros de una organización a buscar la información que necesitan entre los distintos activos de datos recopilados por la empresa. Si esos activos son difíciles de localizar, se está perdiendo más tiempo. Ahora considere una alternativa mejor: contener todos estos datos diferentes en un repositorio central, como un almacén de datos, donde pueden reducirse las tareas que llevan mucho tiempo.
Aunque no suele estar vinculada a la consolidación de datos, cabe señalar que las operaciones de emergencia relacionadas con la recuperación tras catástrofes probablemente se desarrollarán con mayor fluidez si los datos de una organización se encuentran en un repositorio central y si esos datos se han procesado y limpiado.
Se utiliza un número creciente de métodos para admitir proyectos de consolidación de datos.
La técnica de consolidación de datos más importante se conoce como ETL (extraer, transformar y cargar). Los procesos ETL comienzan con herramientas ETL que extraen información de fuentes de datos. Después, esos datos se transforman en un formato informativo estándar. Por último, los datos se cargan en un destino seleccionado.
Una contraparte emergente de la estrategia ETL se llama ELT (extraer, cargar y transformar). La reorganización de los pasos del ELT es crucial. En ELT, los datos se extraen, luego se cargan en un tipo de área de ensayo. Los datos permanecen aquí, ya que varias entidades dentro de la organización lo estudian desde diferentes ángulos, transformando finalmente los datos.
Mantener todos los datos en un repositorio centralizado es un enfoque práctico. Se puede lograr un mayor grado de seguridad de datos con el uso de un almacén de datos, que acepta los conjuntos de datos de varios sistemas de origen. Luego, las herramientas ETL se pueden usar para automatizar los datos y consolidarlos en el almacén.
El almacenamiento de datos se utiliza en parte para limpiar o procesar datos. Un data lake, por otro lado, es simplemente un repositorio de datos que no ofrece ninguna de las capacidades de procesamiento de datos. Un data lake es básicamente un lugar donde almacenar los datos mientras aún están en su forma más bruta. Por lo general, aquí es donde una empresa puede depositar datos poco conocidos.
Todo es cuestión de escala. Un almacén de datos está preparado para aceptar y almacenar todos los datos. Un almacén de datos (data mart) es simplemente un almacén de datos más pequeño con un enfoque mucho más estrecho. Por lo tanto, aunque una empresa utiliza un almacén de datos, un departamento o grupo dentro de esa empresa podría tener un almacén de datos específico para sus necesidades particulares.
En la era de la automatización, la codificación manual parece anticuada. Sin embargo, hay muchas circunstancias que requieren un simple trabajo de consolidación de datos. Este trabajo se logra mediante codificación manual, tal como lo realiza un ingeniero de datos. El código que escribe el ingeniero ayuda a "acorralar" los datos en una ubicación.
Otra solución de consolidación de datos que las empresas deben considerar es la virtualización de datos, en la que los datos permanecen en sus silos existentes y se ven a través de una capa de virtualización que se agrega a cada fuente de datos. Desgraciadamente, este método tiene sus limitaciones, como su reducida escalabilidad.
El tremendo crecimiento del big data continúa sacudiendo el mundo de la tecnología, y debería hacerlo durante algún tiempo. Para el período comprendido entre 2022 y 2030, Acumen Research and Consulting predice que el mercado de big data seguirá expandiéndose (enlace externo a ibm.com) a un ritmo de aproximadamente el 12,7 % anual. Según sus predicciones, ese mercado se disparará desde un valor de 163 500 millones de dólares en 2021 a un mercado proyectado para 2030 con un valor de 473 600 millones de dólares. A medida que el mercado de big data se expande, también lo hace la necesidad de una mayor consolidación de datos.
La automatización de los procesos manuales relacionados con la consolidación de datos es otra área que ha experimentado un intenso desarrollo en los últimos años. Esto ocurre en un momento en que hay una relativa escasez de talento en ciencia de datos. Se calcula que más del 60 % de las horas dedicadas a la ciencia de datos (enlace externo a ibm.com) se emplean en limpiar y procesar datos durante los procesos de consolidación. Esos procesos pueden y deben automatizarse (y lo serán, en cantidades cada vez mayores).
La seguridad de los datos también permanece en la fase central, lo que refleja la amenaza continua y creciente de ataques cibernéticos o ransomware. En respuesta, las organizaciones están optando por opciones como las canalizaciones de datos, que ofrecen mayor seguridad a medida que las canalizaciones mueven, almacenan y analizan los datos.
Del mismo modo, otro acontecimiento reciente habla del creciente interés por proteger la privacidad de los consumidores, especialmente después de una serie de ciberataques de alto perfil que dieron lugar a la difusión masiva de datos de los consumidores. Las llamadas salas limpias de datos se están implementando cada vez más como una forma de interactuar con los consumidores respetuosa con la privacidad. En las salas limpias de datos, las interacciones se estructuran de una manera que limita la cantidad de información del consumidor que suele recopilar la organización.
Independientemente de sus prioridades empresariales, IBM ofrece las soluciones de hardware y software que necesita para almacenar y proteger de forma segura sus recursos clave, incluido el software de gestión del almacenamiento diseñado para ayudarle a consolidar los datos y hacer más con ellos.
¿Y si pudiera hacer más con sus datos y, al mismo tiempo, reducir la huella de carbono de su organización? El almacenamiento IBM FlashSystem le permite limitar el uso de energía y, al mismo tiempo, hacer que el almacenamiento sea eficiente desde el punto de vista energético y dotar al almacenamiento de una funcionalidad adicional.
Obtenga las capacidades que su empresa necesita para ir más allá de la protección de datos y alcanzar una verdadera resiliencia de los mismos. IBM Storage Defender proporciona una visibilidad de resiliencia de datos de extremo a extremo para sus cargas de trabajo primarias y secundarias.
Al aprovechar la plataforma de datos global de IBM Storage Scale, puede conectar los silos de datos de toda su organización con un ecosistema abierto de opciones de almacenamiento, que incluye plataformas de almacenamiento ajenas a IBM, desde el Edge hasta el núcleo y la nube.