DataFabric, DataMesh : nouvelles approches autour de la data

Share this post:

Les entreprises possèdent un trésor pas toujours bien valorisé : la Data. Comment en tirer le meilleur et bénéficier des innovations au-delà des puits de données. Des défis à relever pour accélérer la transformation en profondeur dans une entreprise toujours plus apprenante.

Nous allons explorer ensemble les concepts de Data Fabric et Data Mesh et nous verrons l’impact sur les organisations et sur la maturité de l’entreprise dans sa transformation.

Les défis suite à la mise en place des data lakes

De nombreuses entreprises ont entrepris la valorisation de leurs données via la mise en place de data lakes. Ces plateformes se heurtent aux défis actuels des entreprises dans la construction des produits informatiques :

• La généralisation des méthodologies agiles, comme réponse à l’accentuation de la compétition au sein des marchés, ont augmentées le rythme de mise à disposition des produits ainsi que le désir d’autonomie des équipes dans l’accès à la donnée.
• Le volume toujours grandissant des données et l’augmentation de la complexité de leurs combinaisons fait exploser les coûts de leur gestion et de leur exploitation dans un référentiel unique.
• Enfin, la multiplication des technologies pour traiter et mettre à disposition la donnée ainsi que la généralisation de ces pratiques à tout les domaines métiers de l’entreprise entraînent une dispersion de l’expertise qui ralentit la valorisation de la donnée.

Ces défis font apparaitre les limites d’un modèle centralisé, tel que le data lake, dans la capacité à créer les chaînes de valorisation de la donnée (data pipeline) au rythme de la transformation des entreprises et des marchés.

La Data Fabric une architecture et un concept pour répondre à ces défis.

La Data Fabric est une architecture distribuée, un ensemble de services et de plateformes qui standardisent et permettent l’intégration des données dans l’ensemble de l’entreprise, quel que soit l’emplacement des données (on-premise, Cloud, Multi Cloud, Hybrid Cloud).

Pour répondre aux enjeux de qualité et d’agilité la Data Fabric doit nous permettre de gouverner, gérer et sécuriser la donnée. Elle doit répondre aux caractéristiques suivantes :

• Virtualiser la donnée en mettant en place un accès unifié et standardisé, sans nécessiter leurs centralisations. Cela permet de démocratiser et simplifier l’usage des données.
• Cataloguer et catégoriser la donnée afin d’en permettre l’accès contrôlé aux différentes équipes de l’entreprise, tout en assurant la compatibilité avec les exigences sécurité et réglementaires de confidentialité et de privacy des données.
• Intégrer les données et surveiller leurs qualités afin de corriger les erreurs (formatage, complétude, …) qui impacteraient négativement la confiance des utilisateurs dans leur utilisation.

Le Data Mesh, une réponse organisationnelle pour transformer la donnée en service.

On peut considérer le Data Mesh comme la continuité de la rupture qui a été réalisée ces dernières années sur l’architecture applicative. Nous sommes passés d’un modèle basé sur des monolithes centralisant les fonctions vers un modèle décentralisé basé sur des micro-services dont chacun est responsable d’un domaine précis de l’entreprise.

Ainsi le Data Mesh consiste à considérer les données comme un produit (data product) et chaque équipe de domaine est responsable de gérer et servir les données liées à son domaine d’activité, tout comme elle fournit les micro-services permettant la réalisation des processus métiers. Le data product est un élément autoporteur, fournissant une interface standardisée et documentée vers la donnée, qui permet aux équipes domaines consommatrices de se concentrer sur l’innovation par l’usage des données.

L’organisation sous-jacente au Data Mesh permet de développer une expertise plus forte au sein des domaines et à terme de diffuser cette expertise à l’échelle de l’entreprise en envisageant des rotations des experts entre les équipes produits.

Cette démarche de Data Mesh rentre en synergie avec la Data Fabric, qui facilite l’adoption de pratiques de continuous delivery sur les data products, et fournit les plateformes et standard permettant leurs expositions. La Data Fabric permet ainsi de réduire la complexité d’exposition ET de consommation de la donnée afin d’accompagner les équipes domaines dans leurs nouvelles responsabilités et renforcer leurs autonomies.

Les avantages de ces évolutions

Nous voyons depuis quelques mois de plus en plus de questions sur ces sujets avec la mise en avant d’avantages tant technique que métiers pour nos clients. Sans être exhaustifs, nous voyons clairement apparaitre grâce aux Data Fabric une réduction des efforts pour maintenir les normes de qualité des données de part l’outillage mais aussi via le Data Mesh par la simplification des modèles de gestion. Côté métier, nous constatons une accélération dans l’obtention d’information plus précises tout en garantissant la sécurité des données.

Nous sommes convaincus que la mise en place des Data Fabric et Data Mesh sont les leviers pour démarrer un nouveau chapitre à la valorisation de la donnée au sein des entreprises.

Pour continuer cette discussion n’hésitez pas à nous contacter :

• Olivier Planson : Executive Architect | LinkedIn : olivier.planson | Twitter : @oplanson
• Vivien Rossat : Lead Architect | LinkedIn : vivien-rossat

Vivien Rossat

Lead Architect, IBM Consulting