Data di pubblicazione: 5 Aprile, 2024
Autori: Tim Mucci, Mark Scapicchio, Cole Stryker
DataOps è un insieme di pratiche collaborative di gestione dei dati mirate a velocizzare la consegna, garantire la qualità, promuovere la collaborazione e ottenere il massimo valore dai dati. Modellato sulle pratiche DevOps, l'obiettivo di DataOps è garantire che le funzioni di sviluppo precedentemente isolate siano automatizzate e agili. Mentre DevOps si occupa di semplificare le attività di sviluppo software, DataOps si concentra sull'automazione del processo di gestione e analisi dei dati.
DataOps sfrutta la tecnologia di automazione per semplificare diverse funzioni di gestione dei dati. Queste funzioni includono il trasferimento automatico dei dati tra diversi sistemi ogni volta che è necessario e l'automazione dei processi per identificare e risolvere le incongruenze e gli errori all'interno dei dati. DataOps dà priorità all'automazione delle attività ripetitive e manuali per consentire ai team addetti ai dati di dedicarsi ad attività più strategiche.
L'automazione di questi processi protegge i set di dati e li rende prontamente disponibili e accessibili a scopo di analisi, certificando al contempo che le attività vengano eseguite in modo coerente e accurato per ridurre al minimo l'errore umano. Questi workflow semplificati consentono una consegna più rapida dei dati, quando necessario, perché le pipeline automatizzate possono gestire volumi di dati più grandi in modo più efficace. Inoltre, DataOps incoraggia a testare e monitorare continuamente le pipeline di dati per garantire che funzionino e siano gestite correttamente.
DataOps: una guida interattiva
Che cos'è una piattaforma dati moderna?
Le attività manuali di gestione dei dati richiedono molto tempo e le esigenze aziendali sono in continua evoluzione. Un approccio semplificato all'intero processo di gestione dei dati, dalla raccolta alla consegna, garantisce che un'organizzazione sia sufficientemente agile da gestire iniziative impegnative in più fasi. Consente inoltre ai team addetti ai dati di gestire una crescita esponenziale dei dati mentre sviluppano prodotti di dati.
Uno degli scopi principali di DataOps è quello di eliminare i silos tra produttori di dati (utenti a monte) e consumatori di dati (utenti a valle) per garantire l'accesso a origini dati affidabili. I silos di dati sono efficaci nel limitare l'accesso e l'analisi, quindi, unificando i dati tra i dipartimenti, DataOps favorisce la collaborazione tra i team che possono accedere e analizzare i dati pertinenti per le loro esigenze specifiche. Focalizzandosi sulla comunicazione e la collaborazione tra i team di dati e aziendali, DataOps aumenta la velocità, l'affidabilità, la garanzia di qualità e la governance. Inoltre, la collaborazione interdisciplinare che ne consegue consente una visione più olistica dei dati, che può portare ad analisi più approfondite.
All'interno di un framework DataOps, i team addetti ai dati composti da data scientist, ingegneri, analisti, addetti alle operazioni IT e alla gestione dei dati, team di sviluppo software e stakeholder del settore di attività lavorano insieme per definire e raggiungere gli obiettivi aziendali. Quindi, DataOps aiuta a evitare che la sfida comune della gestione e della distribuzione diventi un collo di bottiglia man mano che il volume e i tipi di dati crescono ed emergono nuovi casi d'uso tra utenti business e data scientist. DataOps prevede l'implementazione di processi come l'orchestrazione della pipeline di dati, il monitoraggio della qualità dei dati, la governance, la sicurezza e le piattaforme di accesso ai dati self-service.
Gli strumenti di orchestrazione delle pipeline gestiscono il flusso di dati e automatizzano attività come i programmi di estrazione, la trasformazione dei dati e i processi di caricamento. Inoltre, automatizzano workflow complessi e garantiscono che le pipeline di dati funzionino senza intoppi, facendo risparmiare tempo e risorse ai team addetti ai dati.
Il monitoraggio della qualità dei dati fornisce un'identificazione proattiva in tempo reale della qualità dei dati, garantendo che i dati utilizzati per l'analisi siano affidabili e attendibili.
I processi di governance assicurano che i dati siano protetti e allineati alle varie normative e politiche dell'organizzazione. Inoltre, definiscono chi è responsabile di specifici asset di dati, regolano chi ha le autorizzazioni per accedere o modificare i dati e tracciano le origini e le trasformazioni man mano che i dati fluiscono attraverso le pipeline per una maggiore trasparenza.
Lavorando insieme alla governance, i processi di sicurezza proteggono i dati da accessi, modifiche o perdite non autorizzati. I processi di sicurezza includono la crittografia dei dati, la correzione dei punti deboli nell'archiviazione o nelle pipeline dei dati e il ripristino dei dati dalle violazioni di sicurezza.
Aggiungendo l'accesso self-service ai dati, i processi DataOps consentono agli stakeholder a valle, come analisti di dati e utenti business, di accedere ed esplorare i dati più facilmente. L'accesso self-service riduce la dipendenza dall'IT per il recupero dei dati, mentre l'automazione dei controlli di qualità dei dati consente analisi e insight più accurati.
DataOps utilizza la filosofia di sviluppo agile per apportare velocità, flessibilità e collaborazione alla gestione dei dati. I principi che definiscono la metodologia Agile sono lo sviluppo iterativo e il miglioramento continuo basato sul feedback e sull'adattabilità, con l'obiettivo di fornire valore agli utenti presto e spesso.
DataOps prende in prestito questi principi fondamentali dalla metodologia Agile e li applica alla gestione dei dati. Lo sviluppo iterativo consiste nel costruire qualcosa a piccoli passi, ottenere feedback e apportare modifiche prima di passare alla fase successiva. In DataOps, questo si traduce nella suddivisione delle pipeline di dati in fasi più piccole per velocizzare lo sviluppo, il test e l'implementazione. Ciò consente una fornitura più rapida di informazioni sui dati (comportamento dei clienti, inefficienze dei processi, sviluppo del prodotto) e offre ai team addetti ai dati lo spazio per adattarsi alle esigenze in evoluzione.
Il monitoraggio continuo e il feedback sulle pipeline di dati consentono miglioramenti continui, garantendo che la consegna dei dati rimanga efficiente. Il ciclo di iterazione semplifica la gestione di nuove risorse di dati, il cambiamento dei requisiti degli utenti o delle esigenze aziendali, garantendo che il processo di gestione dei dati rimanga pertinente. Le modifiche ai dati vengono documentate utilizzando un sistema di controllo delle versioni, come Git, per tenere traccia delle modifiche dei modelli di dati e consentire rollback più semplici.
La collaborazione e la comunicazione sono fondamentali per Agile, e DataOps riflette questo aspetto. Ingegneri, analisti e team aziendali collaborano per definire gli obiettivi e garantire che le pipeline forniscano valore aziendale sotto forma di dati affidabili e utilizzabili. Gli stakeholder, l'IT e i data scientist hanno l'opportunità di aggiungere valore al processo in un ciclo di feedback continuo per aiutare a risolvere i problemi, costruire prodotti migliori e ottenere insight affidabili dai dati.
Ad esempio, se l'obiettivo è aggiornare un prodotto per soddisfare gli utenti, il team DataOps può esaminare i dati dell'organizzazione per ottenere insight su ciò che i clienti cercano e utilizzare tali informazioni per migliorare l'offerta di prodotti.
DataOps promuove l'agilità all'interno di un'organizzazione favorendo la comunicazione, automatizzando i processi e riutilizzando i dati piuttosto che creare qualcosa da zero. L'applicazione dei principi DataOps in tutte le pipeline migliora la qualità dei dati, liberando i membri del team addetto ai dati da attività che richiedono molto tempo.
L'automazione è in grado di gestire rapidamente i test e fornire osservabilità end-to-end su ogni livello dello stack di dati, quindi se qualcosa va storto, il team addetto ai dati verrà avvisato immediatamente. Questa combinazione di automazione e osservabilità consente ai team addetti ai dati di affrontare in modo proattivo gli incidenti che causano tempi di inattività, spesso prima che questi incidenti possano influire sugli utenti o sulle attività a valle.
Di conseguenza, i team aziendali dispongono di dati di migliore qualità, riscontrano meno problemi e possono promuovere la fiducia nel processo decisionale basato sui dati in tutta l'organizzazione. Questo porta a cicli di sviluppo più brevi per i prodotti di dati e a un approccio all'interno dell'organizzazione che abbraccia la democratizzazione dell'accesso ai dati.
L'aumento dell'uso dei dati comporta sfide normative sul modo in cui tali dati vengono utilizzati. Le normative governative come il regolamento generale sulla protezione dei dati (GDPR) e il California Consumer Privacy Act (CCPA) hanno complicato il modo in cui le aziende possono gestire i dati e i tipi di dati che possono raccogliere e utilizzare. La trasparenza dei processi fornita da DataOps risolve i problemi di governance e sicurezza fornendo accesso diretto alle pipeline in modo che i team addetti ai dati possano osservare chi sta utilizzando i dati, dove vanno i dati e chi dispone delle autorizzazioni a monte o a valle.
Per quanto riguarda l'implementazione, DataOps inizia con la pulizia dei dati non elaborati e lo sviluppo di un'infrastruttura tecnologica che li renda disponibili.
Una volta che un'organizzazione ha avviato i suoi processi DataOps, la collaborazione è fondamentale. DataOps pone l'accento sulla collaborazione tra i team aziendali e addetti ai dati, promuovendo una comunicazione aperta e abbattendo i silos. Come nello sviluppo software Agile, i processi di dati sono suddivisi in blocchi più piccoli e adattabili per un'iterazione più rapida. L'automazione viene utilizzata per semplificare le pipeline di dati e ridurre al minimo l'errore umano.
Anche costruire una cultura basata sui dati è un passo cruciale. Investire nello sviluppo di competenze in materia di dati consente agli utenti di sfruttare i dati in modo efficace, creando un ciclo di feedback continuo che raccoglie insight per migliorare la qualità dei dati e dare priorità agli aggiornamenti dell'infrastruttura dei dati.
DataOps tratta i dati stessi come un prodotto, quindi è fondamentale che gli stakeholder siano coinvolti fin dall'inizio nell'allineamento dei KPI e nello sviluppo di service level agreement (SLA) per i dati critici. Trovare un consenso su quelli che possono essere considerati dati validi all'interno dell'organizzazione aiuta a mantenere i team concentrati su ciò che conta.
Gli strumenti di automazione e self-service migliorano il lavoro degli utenti e aumentano la velocità del processo decisionale. Anziché lasciare che i team operativi soddisfino le richieste temporanee dei team aziendali, il che rallenta il processo decisionale, questi strumenti consentono agli stakeholder aziendali di avere sempre accesso ai dati di cui hanno bisogno. Dando priorità al mantenimento di un elevata qualità dei dati, le aziende garantiscono insight affidabili a tutti i livelli dell'organizzazione.
Queste sono alcune delle best practice associate all'implementazione:
- Definisci in anticipo gli standard dei dati: stabilisci fin dall'inizio regole semantiche chiare per i dati e i metadati.
- Assembla un team DataOps diversificato: crea un team con competenze e background tecnici diversi.
- Automatizza l'efficienza: sfrutta gli strumenti di data science e business intelligence (BI) per automatizzare il trattamento dei dati.
- Rompi i silos: stabilisci canali di comunicazione chiari, incoraggia team diversi a condividere dati e competenze, impiega strumenti di integrazione e automazione dei dati per eliminare silos e colli di bottiglia.
- Progetta pensando alla scalabilità: costruisci una pipeline di dati in grado di crescere e adattarsi all'aumento del volume dei dati.
- Incorpora la convalida: integra cicli di feedback per convalidare in modo continuo la qualità dei dati.
- Sperimenta in sicurezza: utilizza ambienti monouso per simulare la produzione per una sperimentazione sicura.
- Promuovi un miglioramento continuo: adotta un approccio "snello", concentrandoti sul continuo miglioramento dell'efficienza.
- Misura i progressi in modo costante: stabilisci parametri di riferimento e monitora le prestazioni durante l'intero ciclo di vita dei dati.
Questo ciclo di vita è progettato per migliorare la qualità dei dati, velocizzare le analisi e favorire la collaborazione all'interno dell'organizzazione.
Questa fase prevede la collaborazione tra azienda, prodotto e progettazione per definire le metriche di qualità e disponibilità dei dati.
Qui i data scientist e data engineer costruiscono i prodotti di dati e i modelli di machine learning che andranno ad alimentare le applicazioni.
Questa fase si concentra sulla connessione del codice e dei prodotti di dati con lo stack tecnologico esistente di un'organizzazione. Come integrare un modello di dati con uno strumento di automazione dei workflow per l'esecuzione automatica.
Test rigorosi garantiscono che l'accuratezza dei dati sia in linea con le esigenze aziendali. I test possono includere la verifica dell'integrità e della completezza dei dati e della conformità dei dati alle business rules.
I dati vengono prima spostati in un ambiente di test per la convalida. Una volta convalidati, i dati possono essere distribuiti nell'ambiente di produzione per essere utilizzati dalle applicazioni e dagli analisti.
La corretta applicazione di strumenti e tecnologie supporta l'automazione necessaria per raggiungere buoni risultati con DataOps. L'automazione impiegata in cinque aree critiche aiuta a stabilire una solida pratica di DataOps all'interno di un'organizzazione. Inoltre, poiché DataOps è un framework olistico per la gestione dei dati all'interno di un'organizzazione, gli strumenti migliori sfrutteranno l'automazione e altre funzionalità self-service che offrono maggiore libertà e insight per i team di DataOps.
L'implementazione di strumenti è un modo per mostrare i progressi nell'adozione di DataOps, ma un'implementazione di successo del processo richiede una visione olistica all'interno dell'organizzazione. Probabilmente, un'azienda che si concentra su un singolo elemento a scapito degli altri non trarrà alcun vantaggio dall'implementazione dei processi DataOps. Gli strumenti non sostituiscono la pianificazione, le persone e i processi continui, bensì esistono per supportare e sostenere una cultura incentrata sui dati già forte.
Queste sono le aree che beneficiano maggiormente dell'automazione:
DataOps coinvolge innanzitutto l'architettura dei dati di un'organizzazione. I dati sono affidabili? Disponibili? Gli errori possono essere rilevati rapidamente? Possono essere apportate modifiche senza interrompere la pipeline di dati?
L'automazione delle attività di data curation, come la pulizia, la trasformazione e la standardizzazione dei dati, garantisce dati di alta qualità nell'intera pipeline di analisi, eliminando rapidamente gli errori manuali per liberare i data engineer per attività più strategiche.
L'automatizzazione dell'acquisizione dei metadati e del tracciamento del lineage crea una chiara comprensione della provenienza dei dati, della loro trasformazione e del loro utilizzo. Questa trasparenza è fondamentale per la governance dei dati e aiuta gli utenti a comprendere l'affidabilità degli insight sui dati. I processi DataOps utilizzano sempre più spesso i metadati attivi come approccio alla gestione delle informazioni sui dati. A differenza dei metadati tradizionali, che sono spesso statici e isolati, i metadati attivi sono dinamici e integrati nello stack di dati per fornire una visione più ricca e contestuale degli asset di dati.
Per quanto riguarda la governance dei dati, l’automazione applica regole di qualità dei dati e controlli di accesso all’interno delle pipeline. Questo riduce il rischio di errori o accessi non autorizzati, migliorando la sicurezza e la conformità dei dati.
L'automatizzazione di attività come la deduplicazione e la sincronizzazione dei dati tra i vari sistemi assicura una singola fonte affidabile per le entità di core business come i clienti o i prodotti, che è la chiave per una gestione efficace dei dati. Ciò consente di eliminare le incongruenze e migliorare l'affidabilità dei dati per l'analytics e il reporting.
L'automazione consente anche agli utenti business di disporre di strumenti self-service per l'accesso e l'esplorazione dei dati. Applicando l'automazione alle interazioni self-service, gli utenti possono identificare e preparare i dati di cui hanno bisogno senza affidarsi all'IT, accelerando il processo decisionale basato sui dati all'interno dell'organizzazione.
Con una solida piattaforma DataOps, le organizzazioni possono risolvere i problemi di generazione ed elaborazione dei dati inefficienti e migliorare il problema di una scarsa qualità dei dati causata da errori e incongruenze. Queste piattaforme svolgono principalmente le seguenti funzioni:
Data ingestion: in genere, la prima fase del ciclo di vita dei dati inizia con il loro inserimento in un data lake o in un data warehouse per trasformarli in insight fruibili attraverso la pipeline. Le organizzazioni hanno bisogno di uno strumento affidabile in grado di gestire l'ingestion su larga scala. Quando un'organizzazione cresce, è richiesta una soluzione efficiente per la data ingestion.
Orchestrazione dei dati: il volume e il tipo di dati all'interno delle organizzazioni continueranno a crescere ed è importante gestire tale crescita prima che sfugga di mano. Dal momento che garantire risorse infinite è impossibile, l'orchestrazione dei dati si concentra sull'organizzazione di più attività di pipeline in un unico processo end-to-end che consente ai dati di spostarsi in modo prevedibile attraverso una piattaforma quando e dove è necessario, senza richiedere una programmazione manuale da parte di un ingegnere.
Trasformazione dei dati: la trasformazione dei dati è la fase in cui i dati non elaborati vengono puliti, manipolati e preparati per l'analisi. Le organizzazioni dovrebbero investire in strumenti che velocizzino la creazione di modelli complessi e gestirli in modo affidabile man mano che i team si ampliano e il volume dei dati cresce.
Catalogo dati: un catalogo dati è una sorta di libreria di tutti gli asset di dati all'interno di un'organizzazione. Organizza, descrive e rende i dati facilmente accessibili e comprensibili. In DataOps, un catalogo dati può aiutare a creare una solida base per operazioni fluide sui dati. I cataloghi dati fungono da unico punto di riferimento per tutte le esigenze in materia di dati.
Osservabilità dei dati: senza l'osservabilità dei dati, non è possibile implementare una corretta pratica DataOps. L'osservabilità protegge l'affidabilità e l'accuratezza dei prodotti di dati in fase di produzione e rende disponibili dati attendibili per gli utenti a monte e a valle.
DataOps si basa sui cinque pilastri dell'osservabilità dei dati per monitorare la qualità e prevenire i tempi di inattività. Monitorando i cinque pilastri, i team di DataOps ottengono una panoramica dello stato dei dati e possono affrontare in modo proattivo i problemi che ne compromettono la qualità e l'affidabilità. I migliori strumenti di osservabilità dovrebbero includere il lineage automatico in modo che gli ingegneri possano conoscere lo stato dei dati di un'organizzazione in qualsiasi momento del ciclo di vita.
Quando sono stati aggiornati i dati l'ultima volta? I dati vengono acquisiti tempestivamente?
I valori dei dati rientrano nei limiti accettabili? I dati sono formattati correttamente? I dati sono coerenti?
Ci sono dati mancanti? Tutti i dati sono stati inseriti correttamente?
Qual è la struttura attuale dei dati? Ci sono state modifiche alla struttura? Le modifiche sono intenzionali?
IBM watsonx.data consente alle organizzazioni di scalare l'analytics e l'AI con uno storage di dati adatto allo scopo basato su un'architettura open data lakehouse per scalare i workload di AI, utilizzando tutti i dati, ovunque si trovino.
Databand è un software di osservabilità per warehouse e pipeline di dati che raccoglie automaticamente i metadati per creare baseline di dati storici, rilevare anomalie e assegnare priorità agli avvisi per correggere i problemi di qualità dei dati. Fornisci dati affidabili e attendibili grazie all'osservabilità continua dei dati.
IBM Cloud Pak for Data è un set modulare di componenti software integrati pensato per l'analisi, l'organizzazione e la gestione dei dati. È disponibile in self-hosting o come servizio gestito su IBM Cloud.
Scopri i vantaggi della democratizzazione dei dati e come le aziende possono superare le sfide della transizione verso questo nuovo approccio ai dati.
Scopri come ottenere rapidamente dati business-ready con DataOps utilizzando la metodologia e la pratica IBM DataOps.
Scopri come una strategia DataOps unificata offre alle aziende la capacità di sfruttare appieno il loro prezioso patrimonio di informazioni garantendo al contempo la conformità alle normative sui dati.