Gestione dei dati potenziata: data fabric e data mesh a confronto

Data fabric e data mesh sono concetti emergenti di gestione dei dati che hanno lo scopo di affrontare il cambiamento organizzativo e le complessità legate alla comprensione, al governo e all'utilizzo dei dati aziendali in un ecosistema multicloud ibrido. La buona notizia è che questi concetti di architettura dei dati sono complementari. Ma cosa sono esattamente un data fabric e un data mesh e come puoi utilizzare al meglio queste soluzioni di gestione dei dati per migliorare il processo decisionale?

Gartner definisce un data fabric come "un concetto di progettazione che funge da livello integrato di dati e processi di connessione. Un data fabric utilizza un'analisi continua sui metadati esistenti, rilevabili ed elaborati per supportare la progettazione, l'implementazione e l'utilizzo di set di dati integrati e riutilizzabili in tutti gli ambienti, comprese le piattaforme ibride e multicloud". [1]

L'approccio architettonico del data fabric può semplificare l'accesso ai dati in un'organizzazione e facilitare il consumo di dati self-service su larga scala. Tra i molti casi d'uso comuni del settore, questo approccio abbatte i silos e offre nuove opportunità per plasmare la governance dei dati, l'integrazione, le opinioni dei singoli clienti e le implementazioni di un'AI affidabile.

Poiché si basa unicamente sui metadati, il livello di astrazione di un data fabric semplifica la modellazione, l'integrazione e l'interrogazione di qualsiasi fonte di dati, la creazione di pipeline di dati e l'integrazione dei dati in tempo reale. Un data fabric semplifica inoltre la derivazione di insight dai dati attraverso una migliore osservabilità e qualità dei dati, automatizzando le attività manuali su piattaforme di dati attraverso il machine learning. Questo migliora la produttività dell'ingegneria dei dati e il time-to-value per i consumatori di dati.

Secondo Forrester, "Un data mesh è un approccio sociotecnico decentralizzato per condividere, accedere e gestire dati analitici in ambienti complessi e su larga scala, all'interno o tra le organizzazioni che li utilizzano". [2]

L'architettura data mesh è un approccio che allinea le origini dei dati in base ai domini aziendali, o funzioni, con i proprietari dei dati. Attraverso la decentralizzazione della proprietà dei dati, i proprietari dei dati possono creare prodotti di dati per i rispettivi domini, il che significa che i consumatori di dati, sia data scientist che utenti business, possono utilizzare una combinazione di questi prodotti di dati per analytics e data science.

Il valore dell'approccio data mesh è che passa la creazione di prodotti di dati a esperti in materia a monte, i quali conoscono meglio i domini aziendali, anziché affidarsi ai data engineer per pulire e integrare i prodotti di dati a valle.

Inoltre, il data mesh accelera il riutilizzo dei prodotti di dati abilitando un modello publish-and-subscribe e utilizzando le API, il che rende più facile per i consumatori di dati ottenere i prodotti di dati di cui necessitano, inclusi aggiornamenti affidabili.

Un data fabric e un data mesh possono coesistere. Di fatto, ci sono tre modi in cui un data fabric consente l'implementazione di un data mesh:

1. Fornisce ai proprietari dei dati funzionalità di creazione di prodotti di dati come la catalogazione degli asset di dati, la trasformazione degli asset in prodotti e il rispetto di policy di governance federate
2. Consente ai proprietari e ai consumatori di dati di utilizzare i prodotti di dati in vari modi, ad esempio pubblicandoli nel catalogo, cercandoli e trovandoli e interrogandoli o visualizzandoli attraverso la virtualizzazione dei dati o le API.
3. Usa insight dai metadati del data fabric per automatizzare le attività imparando dai pattern quale parte del processo di creazione del prodotto di dati o del processo di monitoraggio del prodotto di dati

 Quando si parla di gestione dei dati, un data fabric offre le funzionalità necessarie per implementare e utilizzare al meglio una rete di dati, automatizzando molte delle attività necessarie per creare prodotti di dati e gestirne il ciclo di vita. Utilizzando la flessibilità di data fabric quale base, è possibile implementare un data mesh, continuando a utilizzare al meglio un'architettura di dati orientata al caso d'uso, indipendentemente dal fatto che i dati si trovino on-premise o sul cloud.