Qaish Kanchwala est responsable de l’ingénierie du machine learning (ML) chez The Weather Company. Il gère une équipe de huit ingénieurs : DevOps, ML et données. Ces ingénieurs sont responsables de la création et de l’entraînement des modèles ML utilisés en production au sein de The Weather Company. Qaish Kanchwala est principalement chargé de concevoir des solutions pour l’équipe d’ingénierie et de s’assurer que le travail est fait à temps.
The Weather Company évolue pour devenir une organisation axée sur les données. En conséquence, l’équipe de M. Kanchwala travaille avec des données sur les cas d’utilisation de ML pour la publicité auprès des clients, la personnalisation et les prédictions relatives à l’état de santé. Étant donné que l’avenir de la publicité ne repose plus sur les cookies ou d’autres identifiants, l’équipe utilise des données pour faire des prévisions sur les segments d’utilisateurs. Ces segments sont ensuite utilisés pour diverses campagnes publicitaires.
La précision de ces segments d’utilisateurs peut avoir un impact sur la génération de revenus, il est donc essentiel que M. Kanchwala et son équipe utilisent les données les plus exactes possibles, et qu’elles soient optimisées pour ces campagnes. Par exemple, des modèles moins précis pourraient entraîner une campagne publicitaire qui ne correspondrait pas au segment que le client souhaite atteindre ou qui n’atteindrait pas le segment de public visé.
Ils utilisent des pipelines de données comme Apache Airflow et Sagemaker pour effectuer ces prédictions de modèles. Par conséquent, les pipelines doivent être fiables et les données doivent être précises.
« Dans notre activité, de nombreuses décisions métier sont prises en fonction des segments et des prévisions que nous formulons », explique M. Kanchwala. « Lorsque nous créons ces segments, nous nous efforçons de nous assurer que les données qui entrent dans les pipelines de prédiction sont exactes afin que les prédictions qui en sortent soient exactes. Toute perte de précision pourrait avoir un impact sur les décisions métier ou les résultats d’une entreprise. »
Comme c’est le cas pour la plupart des équipes d’ingénierie de données et de ML, il a été difficile de suivre les performances du modèle au fil du temps et de générer des alertes proactives pour être averti en cas de changement. Si son équipe n’est pas consciente des problèmes qui existent au niveau des données, un client pourrait alors prendre des décisions en s’appuyant sur des prédictions basées sur des données obsolètes ou moins pertinentes.
Ces défis ont conduit The Weather Company à mettre en œuvre le logiciel IBM Databand comme solution d’observabilité des données. Databand aide les entreprises à résoudre de manière proactive les problèmes liés aux données avant qu’ils n’aient un impact sur l’entreprise.
Avant Databand, l’équipe de M. Kanchwala ne disposait pas d’un outil de surveillance complet permettant de suivre la dérive des données au fil du temps. Le nombre limité d’alertes et de rapports dont elle disposait toutefois nécessitait de nombreuses interventions manuelles.
« Nous avons envisagé d’utiliser d’autres outils, mais ils ne s’intégraient pas à notre processus d’ingénierie des données pour la traçabilité », déclare Qaish Kanchwala. « D’autres outils peuvent être adaptés à la surveillance des applications ou de la mémoire, mais pas pour les pipelines de données. »
L’équipe utilise les capacités de surveillance permanente des données de Databand pour suivre la dérive des données au fil du temps au niveau des fonctionnalités du ML et des résultats des modèles. Du point de vue de l’ingénierie des données, Databand montre la traçabilité du pipeline de données et l’analyse d’impact pendant l’exécution.
Cliquez ici
Depuis qu’elle utilise Databand, l’équipe d’ingénierie des données et du ML a amélioré la traçabilité des données et le suivi des SLA.
« Sans une vue opérationnelle comme celle de Databand, il serait extrêmement difficile de comprendre la santé globale de nos pipelines de ML », explique M. Kanchwala. « L’intégration du suivi des disponibilités et des indicateurs agrégés d’Airflow s’est avérée extrêmement utile. C’est très pratique d’ouvrir Databand et de pouvoir afficher les données Airflow dans un seul tableau de bord. »
Dans l’ensemble, The Weather Company a amélioré ses KPI d’ingénierie des données :
- Visibilité et transparence continues : La vue opérationnelle de Databand montre instantanément l’état de ses pipelines Apache Airflow et Sagemaker.
- Amélioration des alertes SLA et du suivi des indicateurs : The Weather Company a mis en œuvre Databand comme un « critère de qualité » avant d’appliquer les changements en production. Cela oblige les ingénieurs de données et ML à effectuer un contrôle qualité en cours de développement avant le passage en production.
- Surveillance de la qualité des données : Puisque Databand s’intègre à tous les environnements Apache Airflow, les ingénieurs de données peuvent identifier l’étape précise à l’origine d’un incident et le résoudre plus rapidement.
Cliquez ici
The Weather Company est le premier fournisseur mondial de services météorologiques1. Il aide les particuliers et les entreprises à prendre des décisions plus éclairées et à agir en fonction de la météo. Les grands volumes de données météorologiques, les informations, la publicité et les solutions médias de The Weather Company sur le Web ouvert aident les particuliers, les entreprises et les marques du monde entier à se préparer et à exploiter le pouvoir de la météo d’une manière évolutive et respectueuse de la confidentialité.
1 Selon Comscore, The Weather Channel était le plus grand fournisseur de prévisions météorologiques au monde (Web et application) en 2022, sur la base de la moyenne du nombre total de visiteurs uniques mensuels. Comscore Media Metrix, Worldwide Rollup Media Trend, News/Information – Weather category incl. The [M] Weather Channel, The, Jan-Dec. 2022 avg
Mentions légales
© Copyright IBM Corporation 2023. IBM corporation, New orchard road, Armonk, NY 10504
Produit aux États-Unis d’Amérique, décembre 2023.
IBM, le logo IBM, ibm.com et Databand sont des marques commerciales ou des marques déposées d’International Business Machines Corporation, aux États-Unis et/ou dans d’autres pays. Les autres noms de produits et de services sont des marques d’IBM ou d’autres sociétés. La liste actualisée des marques d’IBM est disponible à l’adresse ibm.com/legal/copyright-trademark.
Autobrand, marque figurative Cloud and Rainbow, Icebreaker Studios, Social et marque figurative, The Lift, The Weather Company, The Weather Company et marque figurative, The Weather Underground, TWC, Weather Bonk, Weather Exchange, Weather FX et marque figurative, Weather Means Business, Weather Quickie, Weather Underground, Weather.com, WeatherFX, WU, WU et marque figurative, Wunderground.com, Wundermap et Wunderradio sont des marques commerciales ou des marques déposées de TWC Product and Technology, LLC, une société IBM.
Les informations contenues dans le présent document étaient à jour à la date de sa publication initiale. Elles peuvent être modifiées sans préavis par IBM. Les offres mentionnées dans le présent document ne sont pas toutes disponibles dans tous les pays où la société IBM est présente.
Les exemples cités ou décrits illustrent l’utilisation que certains clients font des produits IBM et précisent les résultats qu’ils ont pu obtenir. Les chiffres réels en termes de coûts environnementaux et de performances peuvent varier d’un client à l’autre en fonction de la configuration et des conditions de fonctionnement. En général, les résultats attendus ne peuvent pas être garantis, car les résultats de chaque client dépendent entièrement des systèmes du client et des services commandés. LES INFORMATIONS CONTENUES DANS LE PRÉSENT DOCUMENT SONT FOURNIES « EN L’ÉTAT », SANS AUCUNE GARANTIE EXPLICITE OU IMPLICITE, NOTAMMENT SANS AUCUNE GARANTIE DE QUALITÉ MARCHANDE, D’ADÉQUATION À UN USAGE PARTICULIER ET AUCUNE GARANTIE OU CONDITION D’ABSENCE DE CONTREFAÇON. Les produits IBM sont garantis conformément aux dispositions des contrats qui régissent leur utilisation. [