Qaish Kanchwala ist Machine Learning (ML) Engineering Manager bei The Weather Company®. Er leitet ein Team von acht Ingenieuren, darunter DevOps-, ML- und Dateningenieure. Sie sind für die Erstellung und das Training der ML-Modelle verantwortlich, die in der Produktion von The Weather Company eingesetzt werden. Zu seinen Aufgaben gehören vor allem das Entwerfen von Lösungen für das Engineering-Team und das Sicherstellen der termingerechten Fertigstellung der Arbeit.
The Weather Company hat sich zu einem datenorientierten Unternehmen entwickelt. Für das Team von Kanchwala bedeutet dies, dass es nun mit Daten zu ML-Anwendungsfällen für die Kundenwerbung, Personalisierung und Vorhersagen zum Gesundheitszustand arbeitet. Da sich die Werbung der Zukunft nicht mehr auf Cookies oder andere Identifikatoren stützt, nutzt sein Team Daten, um Vorhersagen zu Nutzersegmenten zu treffen. Diese Benutzersegmente werden dann für verschiedene Werbekampagnen verwendet.
Die Genauigkeit dieser Nutzersegmente kann sich auf die Umsatzgenerierung auswirken. Daher ist es entscheidend, dass Kanchwala und sein Team die genauesten Daten verwenden, die für diese Kampagnen optimiert sind. Eine geringere Genauigkeit der Modelle könnte zum Beispiel zur Folge haben, dass eine Werbekampagne das Segment, das der Kunde erreichen möchte, nicht ausreichend anspricht oder dass das beabsichtigte Zielgruppensegment nicht erreicht wird.
Da sie Daten-Pipelines wie Apache Airflow und Sagemaker verwenden, um diese Modellvorhersagen zu erstellen, müssen die Pipelines zuverlässig und die Daten präzise sein.
„Aus unserer Sicht werden viele Geschäftsentscheidungen auf der Grundlage der Segmente und Vorhersagen getroffen, die wir machen“, sagt Kanchwala. „Beim Aufbau dieser Segmente achten wir darauf, dass die Daten, die in die Vorhersagepipelines eingespeist werden, korrekt sind, damit die Vorhersagen, die aus diesen Pipelines kommen, korrekt sind. Jeder Verlust an Genauigkeit könnte sich auf die Geschäftsentscheidungen oder das Endergebnis auswirken.“
Wie für die meisten Daten- und ML-Engineering-Teams war es eine Herausforderung, die Modellleistung im Laufe der Zeit zu verfolgen und proaktive Warnmeldungen zu erzeugen, um bei Änderungen benachrichtigt zu werden. Wenn sein Team nicht weiß, dass es Datenprobleme gibt, könnte ein Kunde Entscheidungen auf der Grundlage von Prognosen treffen, die auf veralteten oder weniger relevanten Daten basieren.
Diese Herausforderungen veranlassten The Weather Company, IBM® Databand-Software als Lösung für Daten-Observability zu implementieren. Databand hilft dem Unternehmen, Datenprobleme proaktiv zu lösen, bevor sie sich auf das Geschäft auswirken können.
Vor Databand fehlte dem Team von Kanchwala ein Tool für die vollständige Überwachung, um die Datenabweichung im Laufe der Zeit zu verfolgen. Da nur eine begrenzte Anzahl von Warnmeldungen und Berichten zur Verfügung stand, musste oft manuell eingegriffen werden.
„Wir haben zwar den Einsatz anderer Tools in Betracht gezogen, aber letztendlich passten sie nicht in unseren Data-Engineering-Prozess für die Abstammung“, sagt Kanchwala. „Andere Tools eignen sich vielleicht für die Überwachung von Anwendungen oder Speicher, aber nicht für Datenpipelines.“
Das Team nutzt die „Always-on“-Datenüberwachungsfunktionen von Databand, um die Datenabweichung im Laufe der Zeit für seine ML-Funktionen und Modell-Outputs zu verfolgen. Aus Sicht der Datentechnik zeigt Databand den Verlauf der Datenpipeline und die Analyse der Auswirkungen während der Laufzeit.
Klicken Sie hier
Seit der Verwendung von Databand hat das Daten- und ML-Engineering-Team seine Datenabstammung und SLA-Verfolgung verbessert.
„Ohne eine operative Ansicht wie die von Databand wäre es äußerst schwierig, den allgemeinen Zustand unserer ML-Pipelines zu verstehen“, sagt Kanchwala. „Die Integration von Verfügbarkeitstracking und aggregierten Metriken von Airflow ist sehr nützlich. Es ist sehr hilfreich, Databand und die Airflow-Daten in einem einzigen Dashboard zu sehen.“
Insgesamt hat The Weather Company seine Daten-Engineering-KPIs in den folgenden Aspekten verbessert:
- Kontinuierliche Sichtbarkeit und Transparenz: Die operative Ansicht von Databand zeigt sofort den Zustand der Apache Airflow- und Sagemaker-Pipelines an.
- Verbesserte SLA-Warnung und Nachverfolgung von Metriken: The Weather Company hat Databand als „Qualitätskontrolle“ implementiert, bevor Änderungen in die Produktion übernommen werden. Dies zwingt Daten- und ML-Ingenieure dazu, eine obligatorische Qualitätskontrolle in der Entwicklung durchzuführen, bevor sie mit der Produktion fortfahren.
- Überwachung der Datenqualität: Da sich Databand in jede Apache Airflow-Umgebung integrieren lässt, können Dateningenieure genau sehen, welcher Schritt ein Datenproblem verursacht, und es schneller beheben.
Klicken Sie hier
The Weather Company ist der weltweit führende Wetterdienstleister1, der Menschen und Unternehmen dabei hilft, fundiertere Entscheidungen zu treffen und angesichts des Wetters zu handeln. Die umfangreichen Wetterdaten, Erkenntnisse sowie Werbe- und Medienlösungen von The Weather Company im Internet helfen Menschen, Unternehmen und Marken auf der ganzen Welt dabei, sich auf den Einfluss des Wetters vorzubereiten und es auf eine skalierbare, datenschutzfreundliche Weise zu nutzen.
1 Laut Comscore war The Weather Channel im Jahr 2022 der größte Anbieter von Wettervorhersagen weltweit (Web und App), basierend auf dem Durchschnitt der gesamten monatlichen eindeutigen Besucher. Comscore Media Metrix®, Worldwide Rollup Media Trend, News/Information – Weather category incl. The [M] Weather Channel, The, Jan-Dec. 2022 avg
Rechtshinweise
© Copyright IBM Corporation 2023. IBM Corporation, New orchard road, Armonk, NY 10504
Hergestellt in den Vereinigten Staaten von Amerika, Dezember 2023.
IBM, das IBM Logo, ibm.com und Databand sind Marken oder eingetragene Marken der IBM Corporation in den USA und/oder anderen Ländern. Weitere Produkt‐ und Servicenamen können Marken von IBM oder anderen Unternehmen sein. Eine aktuelle Liste der IBM Marken finden Sie unter ibm.com/legal/copyright-trademark.
Autobrand, Cloud and Rainbow™ Gerät, Icebreaker Studios, Social und Gerät, The Lift™, The Weather Company, The Weather Company und Gerät, The Weather Underground, TWC, Weather Bonk, Weather Exchange, Weather FX and device™, Weather Means Business, Weather Quickie, Weather Underground, Weather.com, WeatherFX, WU, WU und Gerät, Wunderground™, Wunderground.com, Wundermap und Wunderradio sind Marken oder eingetragene Marken von TWC Product and Technology, LLC, einem IBM Unternehmen.
Das vorliegende Dokument ist ab dem Datum der Erstveröffentlichung aktuell und kann jederzeit von IBM geändert werden. Nicht alle Angebote sind in allen Ländern verfügbar, in denen IBM tätig ist.
Alle angeführten oder beschriebenen Beispiele illustrieren lediglich, wie einige Kunden IBM Produkte verwendet haben und welche Ergebnisse sie dabei erzielt haben. Die tatsächlichen Umgebungskosten und Leistungsmerkmale variieren in Abhängigkeit von den Konfigurationen und Bedingungen des jeweiligen Kunden. Es können keine generell zu erwartenden Ergebnisse bereitgestellt werden, da die Ergebnisse jedes Kunden allein von seinen Systemen und bestellten Services abhängt. DIE INFORMATIONEN IN DIESEM DOKUMENT WERDEN „WIE SIE SIND“ UND OHNE JEGLICHE AUSDRÜCKLICHE ODER STILLSCHWEIGENDE GARANTIE ZUR VERFÜGUNG GESTELLT, EINSCHLIESSLICH DER GARANTIE DER MARKTGÄNGIGKEIT, DER EIGNUNG FÜR EINEN BESTIMMTEN ZWECK UND DER GARANTIE ODER BEDINGUNG DER NICHTVERLETZUNG VON RECHTEN. Die Garantie für Produkte von IBM richtet sich nach den Geschäftsbedingungen der Vereinbarungen, unter denen sie bereitgestellt werden. [