El tejido de datos es una arquitectura que facilita la integración end-to-end de varias líneas de trabajo de datos y entornos de nube mediante el uso de sistemas inteligentes y automatizados. En la última década, los desarrollos dentro de la nube híbrida, la inteligencia artificial, el Internet de las cosas (IoT) y edge computing han llevado al crecimiento exponencial de big data, creando aún más complejidad de gestión para las empresas. Esto ha hecho que la unificación y la gestión de los entornos de datos sean una prioridad cada vez mayor, ya que este crecimiento ha creado desafíos importantes, como silos de datos, riesgos de seguridad y cuellos de botella generales para la toma de decisiones. Los equipos de gestión de datos están abordando estos desafíos de frente con soluciones de tejido de datos. Los están aprovechando para unificar sus sistemas de datos dispares, integrar la gestión, reforzar las medidas de seguridad y privacidad y brindar más acceso a los datos a los trabajadores, en particular a los usuarios de negocios.
Estos esfuerzos de integración de datos mediante tejidos de datos permiten una toma de decisiones más integral y centrada en los datos. Históricamente, una empresa puede haber tenido diferentes plataformas de datos alineadas con líneas de negocio específicas. Por ejemplo, puede tener una plataforma de datos de recursos humanos, una plataforma de datos de la cadena de suministro y una plataforma de datos de clientes, que albergan datos en entornos diferentes y separados a pesar de las posibles superposiciones. Sin embargo, una estructura de datos puede permitir que los responsables de la toma de decisiones vean estos datos de manera más coherente para comprender mejor el ciclo de vida del cliente, haciendo conexiones entre datos que no existían antes. Al cerrar estas brechas en la comprensión de los clientes, productos y procesos, los tejidos de datos están acelerando las iniciativas de automatización y transformación digital en todas las empresas.
virtualización de datos es una de las tecnologías que permite un enfoque de tejido de datos. En lugar de mover físicamente los datos desde varias fuentes locales y en la nube mediante el estándar ETL (extraer, transformar, cargar), una herramienta de virtualización de datos se conecta a las diferentes fuentes, integrando solo los metadatos necesarios y creando una capa de datos virtual. Esto permite a los usuarios aprovechar los datos de origen en tiempo real.
Al aprovechar los servicios de datos y las API, los tejidos de datos reúnen datos de sistemas heredados, data lakes, almacenes de datos, bases de datos sql y aplicaciones, proporcionando una visión integral del rendimiento empresarial. A diferencia de estos sistemas de almacenamiento de datos individuales, su objetivo es crear más fluidez en los entornos de datos, intentando contrarrestar el problema de la gravedad de los datos, es decir, la idea de que los datos se vuelven más difíciles de mover a medida que crecen en tamaño. Un tejido de datos abstrae las complejidades tecnológicas involucradas en el movimiento, la transformación y la integración de datos, haciendo que todos los datos estén disponibles en toda la empresa.
Las arquitecturas de tejido de datos operan en torno a la idea de acoplar de forma flexible los datos de las plataformas con las aplicaciones que los necesitan. Un ejemplo de arquitectura de tejido de datos en un entorno de múltiples nubes puede verse como el siguiente, donde una nube, como AWS, gestiona la ingesta de datos y otra plataforma, como Azure, supervisa la transformación y el consumo de datos. Luego, es posible que tenga un tercer proveedor, como IBM® Cloud Pak for Data, que brinde servicios analíticos. La arquitectura de la estructura de datos une estos entornos para crear una vista unificada de los datos.
Dicho esto, este es solo un ejemplo. No existe una única arquitectura de datos para un tejido de datos, ya que diferentes empresas tienen diferentes necesidades. La diversa cantidad de proveedores de la nube y las implementaciones de infraestructura de datos aseguran la variación entre las empresas. Sin embargo, las empresas que utilizan este tipo de estructura de datos muestran similitudes en sus arquitecturas, que son exclusivas de un tejido de datos. Más concretamente, tienen seis componentes fundamentales, que Forrester (enlace externo a ibm.com) describe en el informe "Enterprise Data Fabric Enables DataOps". Estas seis capas incluyen lo siguiente:
- Capa de gestión de datos: esta es responsable de la gestión de datos y la seguridad de los datos.
- Capa de ingesta de datos: esta capa comienza a unir los datos de la nube, encontrando conexiones entre los datos estructurados y no estructurados.
- Procesamiento de datos: la capa de procesamiento de datos refina los datos para garantizar que solo se muestren los datos relevantes para la extracción de datos.
- Orquestación de datos: esta capa crítica realiza algunos de los trabajos más importantes para el tejido de datos: transformar, integrar y limpiar los datos, haciéndolos utilizables para los equipos de toda la empresa.
- Descubrimiento de datos: esta capa muestra nuevas oportunidades para integrar fuentes de datos dispares. Por ejemplo, podría encontrar formas de conectar datos en un data mart de cadena de suministro y un sistema de datos de gestión de relaciones con clientes, lo que permite nuevas oportunidades para ofertas de productos a clientes o formas de mejorar la satisfacción del cliente.
- Acceso a datos: esta capa permite el consumo de datos, asegurando los permisos correctos para que ciertos equipos cumplan con las regulaciones gubernamentales. Además, esta capa ayuda a mostrar datos relevantes mediante el uso de paneles de control y otras herramientas de visualización de datos.
A medida que los proveedores de tejidos de datos obtienen una mayor adopción de las empresas en el mercado, Gartner (enlace externo a ibm.com) ha notado mejoras específicas en la eficiencia, promocionando que puede reducir "el tiempo para el diseño de integración en un 30 %, la implementación en un 30 % y el mantenimiento en un 70 %". Si bien está claro que los tejidos de datos pueden mejorar la productividad general, los siguientes beneficios también han demostrado valor comercial para los adoptantes:
- Integración inteligente: los tejidos de datos utilizan gráficos de conocimiento semántico, gestión de metadatos y machine learning para unificar datos en varios tipos de datos y puntos finales. Esto ayuda a los equipos de gestión de datos a agrupar conjuntos de datos relacionados, así como a integrar nuevas fuentes de datos netas en el ecosistema de datos de una empresa. Esta funcionalidad automatiza aspectos de la gestión de la carga de trabajo de datos, lo que lleva a las ganancias de eficiencia antes mencionadas, pero también ayuda a eliminar los silos en los sistemas de datos, centralizar las prácticas de gestión de datos y mejorar la calidad general de los datos.
- Democratización de los datos: las arquitecturas de tejido de datos facilitan las aplicaciones de autoservicio, lo que amplia el acceso a los datos más allá de los recursos más técnicos, como ingenieros de datos, desarrolladores y equipos de analítica de datos. La reducción de los cuellos de botella de datos fomenta posteriormente una mayor productividad, lo que permite a los usuarios comerciales tomar decisiones comerciales más rápidas y libera a los usuarios técnicos para priorizar tareas que utilizan mejor sus habilidades.
- Mejor protección de datos: la ampliación del acceso a los datos tampoco significa comprometer la seguridad de datos y medidas de privacidad. De hecho, significa que se implementan más medidas de protección de gestión de datos en torno a los controles de acceso, lo que garantiza que los datos específicos solo estén disponibles para ciertos roles. Las arquitecturas de tejido de datos también permiten que los equipos técnicos y de seguridad implementen el enmascaramiento y el cifrado de datos en torno a datos confidenciales y de propiedad, lo que mitiga los riesgos relacionados con el intercambio de datos y las brechas del sistema.
Los tejidos de datos aún se encuentran en las primeras etapas de adopción, pero sus funcionalidades de integración de datos ayudan a las empresas en el descubrimiento de datos, lo que les permite asumir una variedad de casos de uso. Si bien los casos de uso que puede manejar un tejido de datos pueden no ser muy diferentes de otros productos de datos, se diferencia por el alcance y la escala que puede manejar, ya que elimina los silos de datos. Al integrar varias fuentes de datos, las empresas y sus científicos de datos pueden crear una visión integral de sus clientes, lo que ha sido particularmente útil con clientes bancarios. Los tejidos de datos se han utilizado más específicamente para:
- perfiles de clientes,
- detección de fraude,
- análisis de mantenimiento preventivo,
- modelos de riesgo de retorno al trabajo y más.
IBM Cloud Pak for Data es una plataforma de datos abierta y extensible que proporciona un tejido de datos para que todos los datos estén disponibles para IA y analítica, en cualquier nube.
Cree, ejecute y gestione modelos de IA. Prepare datos y cree modelos en cualquier nube utilizando código fuente abierto o modelado visual. Prevea y optimice sus resultados.
Obtenga información sobre Db2 on Cloud, una base de datos SQL en la nube completamente gestionada, configurada y optimizada para un rendimiento sólido.
Lea el informe acerca de cómo su organización puede ir más allá de la base de datos y crear un tejido de datos donde los datos correctos estén disponibles en la ubicación correcta y la aplicación correcta en el momento correcto.
Lea el documento inteligente acerca de cómo crear una base de datos sólida para la IA centrándose en tres áreas clave de gestión de datos: acceso, gestión, privacidad y conformidad.
Ferd Scheepers de ING comparte su visión acerca del uso de tejidos de datos en un entorno de nube híbrida.
Escuche este webinar mientras IBM y Gartner analizan el futuro y la importancia del tejido de datos y sus componentes principales.
Descubra cómo el State Bank of India utilizó varias soluciones de IBM, junto con la metodología IBM® Garage, para desarrollar una plataforma completa de banca en línea.