Veröffentlicht: 28. November 2023
Mitwirkende: Phill Powell, Ian Smalley
Wie der Begriff schon sagt, bedeutet Datenkonsolidierung die Zusammenführung von Daten aus verschiedenen Quellen an einem einzigen Ort. Die Datenkonsolidierung ermöglicht Benutzern den Zugriff auf Daten von einem einzigen Zugriffspunkt aus und fördert die Generierung von Dateneinblicken.
Daten werden oft einfach als „Daten“ bezeichnet – eine Aggregation von Informationen, als ob jede Dateneinheit in Struktur und Zweck identisch wäre. Doch die Realität sieht ganz anders aus. Für die meisten Unternehmen sind Daten nicht wie ein Einkaufswagen voller Äpfel. Stattdessen ist dieser Warenkorb in der Regel voll, aber mit einem Großteil oder den meisten Daten in verschiedenen Formaten (Äpfel, Bananen, Orangen usw.).
Da ein durchschnittliches datengesteuertes Unternehmen auf viele Arten von Daten aus zahlreichen Datenquellen angewiesen ist, setzen vorausschauende Unternehmen jetzt Tools zur Datenkonsolidierung ein, um ihre Data Warehouses voller Informationen effizienter zu verwalten.
Auch wenn die Daten zunächst nur als Rohdaten vorliegen, können Unternehmen sie mit Hilfe von Datenanalysen analysieren und daraus Erkenntnisse für die Geschäftsentwicklung ableiten. Zu diesem Zeitpunkt obliegt es dem Unternehmen, die Datenanalyse effektiv in seine Geschäftsentscheidungen einzubeziehen, aber zumindest hat das Unternehmen einen umfassenderen und unmittelbaren Datenzugriff, der es ihm ermöglicht, seine Entscheidungen besser zu treffen.
Bewerten Sie Ihr Risiko und planen Sie Maßnahmen zum Schutz Ihres Unternehmens.
IBM Newsletter abonnieren
Die Datenkonsolidierung (häufig als Datenintegration bezeichnet) bietet mehrere wichtige Vorteile:
Der größte langfristige Vorteil der Datenkonsolidierung besteht darin, dass sie den Entscheidungsprozess im gesamten Unternehmen – über alle Abteilungen und Funktionen hinweg – verbessern kann, indem sie allen Mitarbeitern relevante Daten zur Verfügung stellt. Die Datenkonsolidierung kann einem Unternehmen auch dabei helfen, die Interaktion mit der Öffentlichkeit zu verbessern, indem es die gesamten, gesammelten Kundendaten analysiert und die Maßnahmen des Unternehmens auf diese Metriken stützt.
Ein weiterer Vorteil der zentralen Erfassung aller Daten eines Unternehmens ist die Möglichkeit der Datenanalyse, die erhebliche Ineffizienzen innerhalb des Unternehmens aufdecken kann. Diese Ineffizienzen sind wie finanzielle Strafen, die gegen diese Organisation verhängt werden. Die Abmilderung solcher Ineffizienzen fördert Kostensenkungen. Und da die Datenqualität durch den Konsolidierungsprozess verbessert wird, laufen Informationssysteme zuverlässiger.
Es ist etwas, was oft nicht bedacht wird – wie viel Zeit alle Mitglieder eines Unternehmens mit der Suche nach benötigten Informationen in all den verschiedenen Datenbeständen verbringen, die das Unternehmen gesammelt hat. Wenn diese Assets schwer zu finden sind, wird zusätzliche Zeit verschwendet. Eine bessere Alternative wäre es, all diese unterschiedlichen Daten in einem zentralen Repository, z. B. einem Data Warehouse, zu speichern, wodurch zeitaufwändige Aufgaben reduziert werden können.
Auch wenn dies in der Regel nicht mit der Datenkonsolidierung zusammenhängt, ist es doch erwähnenswert, dass Notfallmaßnahmen im Zusammenhang mit der Wiederherstellung von Daten im Katastrophenfall wahrscheinlich reibungsloser ablaufen, wenn sich die Daten eines Unternehmens in einem zentralen Repository befinden und diese Daten verarbeitet und bereinigt wurden.
Zur Unterstützung von Datenkonsolidierungsprojekten werden immer mehr Methoden eingesetzt.
Die wichtigste Methode zur Datenkonsolidierung wird als ETL (Extrahieren, Transformieren und Laden) bezeichnet. ETL-Prozesse beginnen mit ETL-Tools, die Informationen aus Datenquellen extrahieren. Anschließend werden diese Daten in ein Standard-Informationsformat umgewandelt. Zuletzt werden die Daten in ein ausgewähltes Ziel geladen.
Ein aufstrebendes Gegenstück zur ETL-Strategie heißt ELT (Extrahieren, Laden und Transformieren). Die Neuanordnung der ELT-Schritte ist von entscheidender Bedeutung. In ELT werden Daten extrahiert und dann in eine Art Staging-Bereich geladen. Daten verbleiben hier, da verschiedene Einheiten innerhalb der Organisation sie aus unterschiedlichen Blickwinkeln untersuchen und letztendlich die Daten transformieren.
Die Aufbewahrung aller Daten in einem zentralen Repository ist ein praktischer Ansatz. Ein höheres Maß an Datensicherheit kann durch den Einsatz eines Data Warehouse erreicht werden, das die Datensätze aus verschiedenen Quellsystemen akzeptiert. Mithilfe von ETL-Tools können dann Daten automatisiert und im Warehouse konsolidiert werden.
Data Warehousing wird teilweise zum Bereinigen oder Verarbeiten von Daten verwendet. Ein Data Lake hingegen ist einfach ein Datenrepository, das keine der Datenverarbeitungsfunktionen bietet. Ein Data Lake ist im Wesentlichen ein Ort, an dem Daten geparkt werden, solange sie noch in ihrer Rohform vorliegen. Typischerweise hinterlegt ein Unternehmen hier undurchsichtige Daten.
Es ist alles eine Frage des Maßstabs. Ein Data Warehouse ist darauf ausgerichtet, alle Daten anzunehmen und zu speichern. Ein Data Mart ist einfach ein kleineres Data Warehouse mit einem viel engeren Fokus. Während also ein Unternehmen ein Data Warehouse verwendet, verfügt möglicherweise eine Abteilung oder Gruppe innerhalb dieses Unternehmens über einen Data Mart, der speziell auf seine speziellen Anforderungen zugeschnitten ist.
Im Zeitalter der Automatisierung wirkt Handcodierung altmodisch. Es gibt jedoch viele Umstände, die eine einfache Datenkonsolidierungsaufgabe erfordern. Diese Arbeit wird durch manuelle Codierung durchgeführt, die von einem Dateningenieur durchgeführt wird. Der Code, den der Ingenieur schreibt, hilft dabei, Daten an einem Ort zusammenzufassen.
Eine weitere Lösung zur Datenkonsolidierung, die Unternehmen in Betracht ziehen sollten, ist die Datenvirtualisierung, bei der die Daten in ihren bestehenden Silos verbleiben und durch eine Virtualisierungsschicht, die jeder Datenquelle hinzugefügt wird, angezeigt werden. Leider gibt es bei dieser Methode Einschränkungen, einschließlich einer eingeschränkten Skalierbarkeit.
Das enorme Wachstum von Big Data fordert die Technologiewelt heraus und wird dies auch noch einige Zeit tun. Für den Zeitraum 2022 bis 2030 prognostiziert Acumen Research and Consulting, dass der Big-Data-Markt weiterhin mit einer Rate von etwa 12,7 % pro Jahr wachsen wird (Link befindet sich außerhalb von ibm.com). Den Prognosen zufolge wird dieser Markt von einem Wert von 163,5 Mrd. USD im Jahr 2021 auf 473,6 Mrd. USD im Jahr 2030 hochschnellen. Mit der Expansion des Big-Data-Marktes steigt auch die Notwendigkeit einer stärkeren Datenkonsolidierung.
Die Automatisierung manueller Prozesse im Zusammenhang mit der Datenkonsolidierung ist ein weiterer Bereich, der in den letzten Jahren eine intensive Entwicklung erlebt hat. Dies geschieht zu einer Zeit, in der es einen relativen Mangel an Data-Science-Talenten gibt. Es wird geschätzt, dass mehr als 60 % der Data-Science-Stunden (Link befindet sich außerhalb von ibm.com) für die Bereinigung und Verarbeitung von Daten während Konsolidierungsprozessen aufgewendet werden. Diese Prozesse können und sollten automatisiert werden (und werden dies auch in zunehmendem Maße tun).
Auch die Datensicherheit steht weiterhin im Mittelpunkt, was die anhaltende und wachsende Bedrohung durch Cyberattacken oder Ransomware-Angriffe widerspiegelt. Als Reaktion darauf entscheiden sich Unternehmen für Optionen wie Datenpipelines, die mehr Sicherheit bieten, da die Pipelines Daten bewegen, speichern und analysieren.
Auch eine andere Entwicklung aus jüngster Zeit spricht für das wachsende Interesse am Schutz der Privatsphäre der Verbraucher, insbesondere nach einer Reihe aufsehenerregender Cyberangriffe, die zu einer massenhaften Verbreitung von Verbraucherdaten geführt haben. Als datenschutzfreundliche Möglichkeit der Interaktion mit Verbrauchern werden mittlerweile zunehmend sogenannte Datenreinräume eingesetzt. In Datenreinräumen sind die Interaktionen so strukturiert, dass die Menge an Verbraucherinformationen, die in der Regel vom Unternehmen gesammelt werden, begrenzt wird.
Unabhängig von Ihren geschäftlichen Prioritäten bietet IBM die Hardware- und Softwarelösungen, die Sie benötigen, um Ihre wichtigen Ressourcen sicher zu speichern und zu schützen. Dazu gehört auch eine Speicherverwaltungssoftware, die Sie dabei unterstützt, Daten zu konsolidieren und mehr daraus zu machen.
Was wäre, wenn Sie mehr aus Ihren Daten machen und gleichzeitig den CO2-Fußabdruck Ihres Unternehmens reduzieren könnten? Ein IBM FlashSystem-Speicher ermöglicht es Ihnen, den Stromverbrauch zu begrenzen, den Speicher energieeffizient zu machen und ihm zusätzliche Funktionen zu verleihen.
Holen Sie sich die Fähigkeiten, die Ihr Unternehmen benötigt, um über den Datenschutz hinaus echte Datenausfallsicherheit zu erreichen. IBM Storage Defender bietet Transparenz für eine durchgängige Datenausfallsicherheit bei primären und sekundären Workloads.
Durch die Nutzung der globalen Datenplattform von IBM Storage Scale können Sie Datensilos in Ihrem gesamten Unternehmen mit einem offenen Ökosystem aus Speicheroptionen verbinden, darunter auch Speicherplattformen von anderen Anbietern – vom Edge bis zum Kern und der Cloud.