Veröffentlichung: 5. April 2024
Mitwirkende: Tim Mucci, Mark Scapicchio, Cole Stryker
DataOps besteht aus einer Reihe von kollaborativen Datenverwaltungspraktiken, die darauf abzielen, die Bereitstellung zu beschleunigen, die Qualität aufrechtzuerhalten, die Zusammenarbeit zu fördern und den größtmöglichen Nutzen aus Daten zu ziehen. DataOps ist den DevOps-Praktiken nachempfunden und hat sich zum Ziel gesetzt, sicherzustellen, dass zuvor isolierte Entwicklungsfunktionen automatisiert werden und agil sind. Während es bei DevOps um die Rationalisierung von Softwareentwicklungsaufgaben geht, konzentriert sich DataOps auf die Automatisierung des Datenverwaltungs- und Datenanalyseprozesses.
DataOps nutzt Automatisierungstechnologie, um verschiedene Datenverwaltungsfunktionen zu rationalisieren. Zu diesen Funktionen gehören die automatische Übertragung von Daten zwischen verschiedenen Systemen, wann immer sie benötigt werden, und die Automatisierung von Prozessen zur Erkennung und Behebung von Inkonsistenzen und Fehlern in den Daten. DataOps priorisiert die Automatisierung wiederkehrender und manueller Aufgaben, um Datenteams für strategischere Aufgaben freizustellen.
Die Automatisierung dieser Prozesse schützt Datensätze und macht sie für Analysezwecke leicht verfügbar und zugänglich, während gleichzeitig bescheinigt wird, dass Aufgaben konsistent und präzise ausgeführt werden, um menschliche Fehler zu minimieren. Diese optimierten Workflows führen bei Bedarf zu einer schnelleren Datenbereitstellung, da automatisierte Pipelines größere Datenmengen effektiver verarbeiten können. Darüber hinaus fördert DataOps das kontinuierliche Testen und Überwachen von Datenpipelines, um sicherzustellen, dass sie funktionieren und korrekt verwaltet werden.
DataOps: Ein interaktiver Leitfaden
Was ist eine moderne Datenplattform?
Manuelle Datenverwaltungsaufgaben sind zeitaufwändig und die Geschäftsanforderungen entwickeln sich ständig weiter. Ein optimierter Ansatz für den gesamten Datenverwaltungsprozess, von der Erfassung bis zur Bereitstellung, stellt sicher, dass ein Unternehmen flexibel genug ist, um anspruchsvolle Initiativen mit mehreren Schritten durchzuführen. Darüber hinaus können Datenteams damit das explosive Datenwachstum bewältigen, während sie Datenprodukte entwickeln.
Ein Hauptzweck von DataOps besteht darin, Silos zwischen Datenproduzenten (vorgelagerte Benutzer) und Datennutzern (nachgelagerte Benutzer) aufzubrechen, um den Zugriff auf zuverlässige Datenquellen zu sichern. Datensilos schränken den Zugriff und die Analyse wirksam ein. Durch die Vereinheitlichung der Daten über verschiedene Abteilungen hinweg fördert DataOps die Zusammenarbeit zwischen Teams, die für ihre individuellen Anforderungen auf relevante Daten zugreifen und diese analysieren können. Durch die Betonung der Kommunikation und Zusammenarbeit zwischen Daten- und Geschäftsteams sorgt DataOps für mehr Geschwindigkeit, Zuverlässigkeit, Qualitätssicherung und Governance. Darüber hinaus ermöglicht die darauf folgende disziplinübergreifende Zusammenarbeit eine ganzheitlichere Sicht auf die Daten, was zu aufschlussreicheren Analysen führen kann.
In einem DataOps-Framework arbeiten Datenteams aus Data Scientists, Ingenieuren, Analysten, IT-Betrieb, Datenverwaltung, Softwareentwicklungsteams und Stakeholder aus den Geschäftsbereichen zusammen, um Geschäftsziele zu definieren und zu erreichen. DataOps bietet somit eine Lösung für die übliche Herausforderung, dass Verwaltung und Bereitstellung zu einem Engpass werden, wenn Datenvolumen und -typen zunehmen und neue Anwendungsfälle unter Geschäftsanwendern und Data Scientists entstehen. DataOps umfasst die Implementierung von Prozessen wie die Orchestrierung von Datenpipelines, die Überwachung der Datenqualität, Governance, Sicherheit und Plattformen für den Self-Service-Datenzugriff.
Tools für die Pipeline-Orchestrierung verwalten den Datenfluss und automatisieren Aufgaben wie Zeitpläne für die Extrahierung, Datenkonvertierung und Ladeprozesse. Sie automatisieren auch komplexe Workflows und stellen sicher, dass Datenpipelines reibungslos funktionieren, wodurch Datenteams Zeit und Ressourcen sparen.
Die Überwachung der Datenqualität ermöglicht eine proaktive Identifizierung der Datenqualität in Echtzeit und stellt sicher, dass die für die Analyse verwendeten Daten zuverlässig und vertrauenswürdig sind.
Governance-Prozesse stellen sicher, dass die Daten geschützt sind und verschiedenen Vorschriften und Unternehmensrichtlinien gerecht werden. Sie legen auch fest, wer für bestimmte Datenbestände verantwortlich ist, regeln, wer auf Daten zugreifen oder diese ändern darf, und verfolgen Herkunft und Transformationen, während Daten durch Pipelines fließen, um für mehr Transparenz zu sorgen.
In Zusammenarbeit mit Governance schützen Sicherheitsprozesse Daten vor unbefugtem Zugriff, Änderung oder Verlust. Zu den Sicherheitsprozessen gehören die Datenverschlüsselung, das Patchen von Schwachstellen in den Datenspeichern oder in Pipelines und die Wiederherstellung von Daten nach Sicherheitsverletzungen.
Durch die Hinzufügung eines Self-Service-Datenzugriffs ermöglichen DataOps-Prozesse nachgelagerten Stakeholdern wie Datenanalysten und Geschäftsanwendern einen einfacheren Zugriff auf Daten und deren Untersuchung. Der Self-Service-Zugriff verringert die Abhängigkeit von der IT-Abteilung bei der Datenabfrage, und die Automatisierung von Datenqualitätsprüfungen führt zu genaueren Analysen und Erkenntnissen.
DataOps nutzt die Philosophie der agilen Entwicklung, um der Datenverwaltung Geschwindigkeit, Flexibilität und Zusammenarbeit zu verleihen. Die wichtigsten Prinzipien von agil sind iterative Entwicklung und kontinuierliche Verbesserung auf der Grundlage von Feedback und Anpassungsfähigkeit, mit dem Ziel, den Nutzern frühzeitig und oft einen Mehrwert zu bieten.
DataOps übernimmt diese Kernprinzipien aus der agilen Methodik und wendet sie auf die Datenverwaltung an. Iterative Entwicklung bedeutet, etwas in kleinen Schritten aufzubauen, Feedback einzuholen und Anpassungen vorzunehmen, bevor zum nächsten Schritt übergegangen wird. Bei DataOps bedeutet dies, dass Datenpipelines in kleinere Phasen unterteilt werden, um die Entwicklung, das Testen und die Bereitstellung zu beschleunigen. Dies führt zu einer schnelleren Bereitstellung von Datenanalysen (Kundenverhalten, Prozessineffizienzen, Produktentwicklung) und gibt Datenteams den Raum, sich an sich ändernde Anforderungen anzupassen.
Die kontinuierliche Überwachung und das Feedback zu den Datenpipelines ermöglichen kontinuierliche Verbesserungen und stellen sicher, dass die Datenbereitstellung effizient bleibt. Der Iterationszyklus erleichtert den Umgang mit neuen Datenressourcen, sich ändernden Benutzeranforderungen oder Geschäftsanforderungen und stellt sicher, dass der Datenverwaltungsprozess relevant bleibt. Änderungen an Daten werden mit einem Versionskontrollsystem wie Git dokumentiert, um Änderungen an Datenmodellen zu verfolgen und einfachere Rollbacks zu ermöglichen.
Zusammenarbeit und Kommunikation sind bei der agilen Methodik von zentraler Bedeutung und DataOps spiegelt dies wider. Ingenieure, Analysten und Geschäftsteams arbeiten zusammen, um Ziele zu definieren und sicherzustellen, dass die Pipelines einen geschäftlichen Nutzen in Form von vertrauenswürdigen, brauchbaren Daten liefern. Stakeholder, IT-Experten und Data Scientists haben die Möglichkeit, den Prozess mit einer kontinuierlichen Feedbackschleife zu verbessern, um Probleme zu lösen, bessere Produkte zu entwickeln und vertrauenswürdige Datenerkenntnisse bereitzustellen.
Wenn das Ziel beispielsweise darin besteht, ein Produkt zu aktualisieren, um die Benutzer zu begeistern, kann das DataOps-Team die Unternehmensdaten untersuchen, um Erkenntnisse darüber zu gewinnen, wonach die Kunden suchen. Anschließend können diese Informationen verwendet werden, um das Produktangebot zu verbessern.
DataOps fördert die Agilität innerhalb eines Unternehmens, indem die Kommunikation gefördert, Prozesse automatisiert und Daten wiederverwendet werden, anstatt sie von Grund auf neu zu erstellen. Die Anwendung von DataOps-Prinzipien auf alle Pipelines verbessert die Datenqualität und entlastet die Mitglieder des Datenteams von zeitaufwändigen Aufgaben.
Die Automatisierung kann Tests schnell abwickeln und eine durchgängige Observability für jede Schicht des Data Stack bieten, sodass das Datenteam sofort benachrichtigt wird, wenn etwas schiefläuft. Durch diese Kombination aus Automatisierung und Observability können Datenteams Ausfälle proaktiv angehen, oft bevor sie sich auf nachgelagerte Benutzer oder Aktivitäten auswirken.
Dadurch verfügen die Geschäftsteams über eine bessere Datenqualität, haben weniger Probleme und können im gesamten Unternehmen Vertrauen in datengesteuerte Entscheidungsfindung aufbauen. Dies führt zu verkürzten Entwicklungszyklen für Datenprodukte und einem organisatorischen Ansatz, der die Demokratisierung des Datenzugriffs umfasst.
Mit der steigenden Datennutzung gehen Herausforderungen durch neue Auflagen hinsichtlich der Verwendung dieser Daten einher. Regierungsvorschriften wie die Datenschutz-Grundverordnung (DSGVO) und der California Consumer Privacy Act (CCPA) haben die Art und Weise, wie Unternehmen mit Daten umgehen und welche Datentypen sie erfassen und verwenden können, komplizierter gestaltet. Die mit DataOps einhergehende Prozesstransparenz berücksichtigt Governance- und Sicherheitsprobleme, indem sie einen direkten Zugriff auf Pipelines ermöglicht, sodass Datenteams beobachten können, wer die Daten nutzt, wohin die Daten gehen und wer vor- oder nachgelagerte Berechtigungen hat.
Wenn es um die Implementierung geht, beginnt DataOps mit der Bereinigung von Rohdaten und der Entwicklung einer Technologieinfrastruktur, die diese verfügbar macht.
Sobald die DataOps-Prozesse eines Unternehmens laufen, ist die Zusammenarbeit von entscheidender Bedeutung. DataOps legt den Schwerpunkt auf die Zusammenarbeit zwischen Geschäfts- und Datenteams, fördert eine offene Kommunikation und bricht Silos auf. Wie bei der agilen Softwareentwicklung werden Datenprozesse zur schnelleren Iteration in kleinere, anpassungsfähige Teile unterteilt. Durch Automatisierung werden Datenpipelines optimiert und menschliche Fehler minimiert.
Der Aufbau einer datengestützten Kultur ist ebenfalls ein entscheidender Schritt. Investitionen in die Datenkompetenz befähigen die Benutzer, Daten effektiv zu nutzen, und schaffen eine kontinuierliche Feedbackschleife, die Erkenntnisse zur Verbesserung der Datenqualität und zur Priorisierung von Upgrades der Dateninfrastruktur liefert.
DataOps behandelt die Daten selbst wie ein Produkt. Daher ist es wichtig, dass die Stakeholder frühzeitig in die Abstimmung der KPIs und die Entwicklung von Service-Level-Agreements (SLAs) für kritische Daten einbezogen werden. Wenn innerhalb des Unternehmens ein Konsens darüber erzielt wird, was als gute Daten gilt, können sich die Teams auf das Wesentliche konzentrieren.
Automatisierungs- und Self-Service-Tools unterstützen die Nutzer und beschleunigen die Entscheidungsfindung. Anstatt dass Betriebsteams kurzfristigen Anfragen von Geschäftsteams nachkommen müssen, was die Entscheidungsfindung verlangsamt, haben die geschäftlichen Stakeholder jederzeit Zugriff auf die benötigten Daten. Durch die Priorisierung einer hohen Datenqualität gewährleisten Unternehmen zuverlässige Erkenntnisse auf allen Ebenen der Organisation.
Hier sind einige Best Practices im Zusammenhang mit der Implementierung:
- Datenstandards frühzeitig definieren: Legen Sie zu Beginn klare semantische Regeln für Daten und Metadaten fest.
- Aufbau eines vielfältigen DataOps-Teams: Stellen Sie ein Team mit verschiedenen technischen Fähigkeiten und Hintergründen zusammen.
- Automatisierung für mehr Effizienz: Nutzen Sie Tools für Data Science und Business Intelligence (BI), um die Datenverarbeitung zu automatisieren.
- Silos aufbrechen: Schaffen Sie klare Kommunikationskanäle, ermutigen Sie verschiedene Teams, Daten und Fachwissen zu teilen, und setzen Sie Datenintegrations- und Automatisierungstools ein, um Silos und Engpässe zu beseitigen.
- Design für Skalierbarkeit: Bauen Sie eine Datenpipeline auf, die wachsen und sich an steigende Datenmengen anpassen kann.
- Integrierte Validierung: Integrieren Sie Feedbackschleifen, um die Datenqualität kontinuierlich zu validieren.
- Sicheres Experimentieren: Nutzen Sie flüchtige Umgebungen, um die Produktion für sicheres Experimentieren nachzuahmen.
- Kontinuierliche Verbesserung: Verfolgen Sie einen „schlanken“ Ansatz, der sich auf kontinuierliche Effizienzsteigerungen konzentriert.
- Fortschritt kontinuierlich messen: Erstellen Sie Benchmarks und verfolgen Sie die Leistung während des gesamten Datenlebenszyklus.
Dieser Lebenszyklus wurde entwickelt, um die Datenqualität zu verbessern, die Analyse zu beschleunigen und die Zusammenarbeit innerhalb des Unternehmens zu fördern.
In dieser Phase arbeiten Unternehmen, Produkt und Entwicklung zusammen, um Metriken für Datenqualität und -verfügbarkeit zu definieren.
Hier entwickeln Dateningenieure und Data Scientists Datenprodukte und Modelle für maschinelles Lernen, die später in Anwendungen eingesetzt werden.
Diese Phase konzentriert sich auf die Verbindung des Codes und der Datenprodukte mit dem vorhandenen Technologie-Stack eines Unternehmens. Wie die Integration eines Datenmodells in ein Workflow-Automatisierungstool für die automatische Ausführung.
Durch strenge Tests wird sichergestellt, dass die Datengenauigkeit den Geschäftsanforderungen entspricht. Zu den Tests könnte die Prüfung der Datenintegrität und -vollständigkeit sowie der Einhaltung der Business Rules gehören.
Die Daten werden zunächst zur Validierung in eine Testumgebung verschoben. Nach der Validierung können die Daten in der Produktionsumgebung bereitgestellt werden, um sie für Anwendungen und Analysten zu verwenden.
Die richtige Anwendung von Tools und Technologien unterstützt die Automatisierung, die für den Erfolg mit DataOps erforderlich ist. Die Automatisierung, die in fünf kritischen Bereichen eingesetzt wird, trägt dazu bei, eine solide DataOps-Praxis innerhalb eines Unternehmens zu etablieren. Da DataOps ein ganzheitliches Framework für die Verwaltung von Daten im gesamten Unternehmen ist, nutzen die besten Tools außerdem Automatisierung und andere Self-Service-Funktionen, die DataOps-Teams mehr Freiheit und Erkenntnisse ermöglichen.
Die Implementierung von Tools ist eine Möglichkeit, Fortschritte bei der Einführung von DataOps zu zeigen, aber die erfolgreiche Implementierung des Prozesses erfordert eine ganzheitliche Unternehmensvision. Ein Unternehmen, das sich zum Nachteil anderer auf ein einziges Element konzentriert, wird wahrscheinlich keinen Nutzen aus der Implementierung von DataOps-Prozessen ziehen. Werkzeuge ersetzen nicht die laufende Planung, Mitarbeiter und Prozesse. Sie dienen dazu, eine bereits starke datenorientierte Kultur zu unterstützen und zu erhalten.
Die folgenden Bereiche profitieren am meisten von der Automatisierung:
DataOps stützt sich in erster Linie auf die Datenarchitektur des Unternehmens. Sind die Daten vertrauenswürdig? Verfügbar? Können Fehler schnell erkannt werden? Können Änderungen vorgenommen werden, ohne die Datenpipeline zu unterbrechen?
Durch die Automatisierung von Datenpflegeaufgaben wie Datenbereinigung, -transformation und -standardisierung wird eine hohe Datenqualität in der gesamten Analyse-Pipeline sichergestellt. Manuelle Fehler werden schnell eliminiert und Dateningenieure können sich auf strategischere Aufgaben konzentrieren.
Die automatisierte Erfassung von Metadaten und die Nachverfolgung der Herkunft schaffen ein klares Verständnis dafür, woher die Daten stammen, wie sie umgewandelt und wie sie verwendet werden. Diese Transparenz ist für die Data Governance von entscheidender Bedeutung und hilft Benutzern, die Vertrauenswürdigkeit von Datenerkenntnissen zu verstehen. DataOps-Prozesse nutzen zunehmend aktive Metadaten als Ansatz zur Verwaltung von Informationen über Daten. Im Gegensatz zu herkömmlichen Metadaten, die oft statisch und isoliert sind, sind aktive Metadaten dynamisch und in den gesamten Datenstack integriert, um eine umfassendere und kontextbezogenere Ansicht der Datenbestände zu ermöglichen.
Wenn es um Data Governance geht, setzt die Automatisierung Datenqualitätsregeln und Zugriffskontrollen innerhalb von Pipelines durch. Dies reduziert das Risiko von Fehlern oder unbefugtem Zugriff und verbessert die Datensicherheit und Compliance.
Die Automatisierung von Aufgaben wie Datendeduplizierung und -synchronisierung über verschiedene Systeme hinweg gewährleistet eine Single-Source-of-Truth (SSOT) für Kerngeschäftseinheiten wie Kunden oder Produkte, was der Schlüssel zu einer effektiven Datenverwaltung ist. Dadurch werden Inkonsistenzen vermieden und die Datenzuverlässigkeit für Analysen und Berichte verbessert.
Die Automatisierung ermöglicht es Geschäftsanwendern auch, mit Self-Service-Tools auf Daten zuzugreifen und diese zu untersuchen. Durch die Automatisierung von Self-Service-Interaktionen können Benutzer die benötigten Daten finden und aufbereiten, ohne dabei auf die IT-Abteilung angewiesen zu sein, was die datengestützte Entscheidungsfindung im gesamten Unternehmen beschleunigt.
Mit einer starken DataOps-Plattform können Unternehmen ineffiziente Probleme bei der Datengenerierung und -verarbeitung lösen und die durch Fehler und Inkonsistenzen verursachte schlechte Datenqualität verbessern. Hier sind die Kernfunktionen, die solche Plattformen bieten:
Datenaufnahme: Im Allgemeinen beginnt der erste Schritt im Lebenszyklus von Daten mit der Aufnahme in einen Data Lake oder ein Data Warehouse, um sie über die Pipeline in nutzbare Erkenntnisse umzuwandeln. Unternehmen benötigen ein kompetentes Tool, das die Aufnahme in großem Maßstab bewältigen kann. Wenn ein Unternehmen wächst, ist eine effiziente Lösung für die Datenaufnahme erforderlich.
Datenorchestrierung: Das Datenvolumen und die Art der Daten innerhalb von Organisationen werden weiter wachsen, und es ist wichtig, dieses Wachstum zu bewältigen, bevor es aus dem Ruder läuft. Unendliche Ressourcen sind ein Ding der Unmöglichkeit. Deshalb konzentriert sich die Datenorchestrierung auf die Organisation mehrerer Pipeline-Aufgaben in einem einzigen End-to-End-Prozess. Dieser ermöglicht eine vorhersehbare Verschiebung von Daten durch eine Plattform, wann und wo sie benötigt werden, ohne dass ein Ingenieur manuell Code eingeben muss.
Datenkonvertierung: Bei der Datenkonvertierung werden Rohdaten bereinigt, bearbeitet und für die Analyse vorbereitet. Unternehmen sollten in Tools investieren, die Erstellung komplexer Modelle beschleunigen und diese zuverlässig verwalten, wenn die Teams wachsen und das Datenvolumen zunimmt.
Datenkatalog: Ein Datenkatalog ist wie eine Bibliothek für alle Datenbestände innerhalb eines Unternehmens. Er organisiert, beschreibt und sorgt dafür, dass Daten leicht zu finden und zu verstehen sind. Bei DataOps kann ein Datenkatalog dazu beitragen, eine solide Grundlage für einen reibungslosen Datenbetrieb zu schaffen. Datenkataloge dienen als zentraler Bezugspunkt für alle Datenanforderungen.
Daten-Observability: Ohne Daten-Observability implementiert ein Unternehmen keine geeignete DataOps-Praxis. Die Observability schützt die Zuverlässigkeit und Genauigkeit der erzeugten Datenprodukte und stellt zuverlässige Daten für vor- und nachgelagerte Benutzer zur Verfügung.
DataOps stützt sich auf fünf Säulen der Daten-Observability, um die Qualität zu überwachen und Ausfallzeiten zu verhindern. Durch die Überwachung der fünf Säulen erhalten DataOps-Teams einen Überblick über den Allgemeinzustand ihrer Daten und können proaktiv Probleme lösen, die deren Qualität und Zuverlässigkeit beeinträchtigen. Die besten Observability-Tools sollten eine automatisierte Datenabstammung enthalten, damit die Ingenieure den Zustand der Daten eines Unternehmens an jedem Punkt des Lebenszyklus nachvollziehen können.
Wann wurden die Daten zuletzt aktualisiert? Werden die Daten zeitnah aufgenommen?
Liegen die Datenwerte innerhalb akzeptabler Grenzen? Sind die Daten richtig formatiert? Sind die Daten konsistent?
Fehlen Daten? Wurden alle Daten erfolgreich aufgenommen?
Wie ist die aktuelle Struktur der Daten? Gab es Änderungen an der Struktur? Sind die Änderungen beabsichtigt?
IBM watsonx.data® ermöglicht es Unternehmen, Analysen und KI mit einem zweckmäßigen Datenspeicher zu skalieren, der auf einer offenen Data-Lakehouse-Architektur basiert, um KI-Workloads zu skalieren und alle Ihre Daten zu nutzen, unabhängig davon, wo sie sich befinden.
Databand ist eine Observability-Software für Datenpipelines und Warehouses, die Metadaten automatisch erfasst, um protokollierte Referenzwerte zu erstellen, Unregelmäßigkeiten zu erkennen und eine Triage von Alerts auszuführen, damit Probleme mit der Datenqualität behoben werden können. Stellen Sie vertrauenswürdige und zuverlässige Daten mit kontinuierlicher Daten-Observability bereit.
IBM® Cloud Pak for Data ist ein modularer Satz integrierter Softwarekomponenten für die Analyse, Organisation und Verwaltung von Daten. Es ist als selbstgehostete Lösung oder als verwalteter Service in der IBM Cloud verfügbar.
Erkunden Sie die Vorteile der Datendemokratisierung und wie Unternehmen die Herausforderungen der Umstellung auf diesen neuen Datenansatz bewältigen können.
Erfahren Sie, wie Sie mit DataOps und der IBM DataOps-Methodik und -Praxis schnell geschäftsfähige Daten bereitstellen können.
Erfahren Sie, wie Unternehmen mit einer einheitlichen DataOps-Strategie ihre wertvollen Informationsressourcen voll ausschöpfen und gleichzeitig die Einhaltung von Datenvorschriften sicherstellen können.