Qaish Kanchwala 是 The Weather Company 的机器学习 (ML) 工程经理。他管理着一支由 8 名工程师组成的团队,其中包括 DevOps、ML 与数据工程师。他们负责为 The Weather Company 构建和训练生产中所用的 ML 模型。他的主要职责是为工程团队设计解决方案并确保按时完成各项工作。
The Weather Company 已朝着数据优先型组织的方向迈进。对于 Kanchwala 的团队来说,这意味着使用 ML 用例的数据来投放客户广告、实现个性化并开展运行状况预测。由于未来的广告状态不再依赖 Cookie 或其他标识符,因此他的团队会使用数据来预测用户细分。然后,将这些用户细分用于各种广告活动。
这些用户细分的准确性会对创收产生影响,因此,Kanchwala 和他的团队务必要使用最准确的数据,并针对这些营销活动优化数据。例如,模型的准确性较低可能会导致广告活动对客户目标受众群的索引不足,或者无法覆盖目标受众群。
由于他们使用 Apache Airflow 和 Sagemaker 等数据管道来完成这些模型的预测,因此管道需要十分可靠,且数据需要准确无误。
Kanchwala 表示:“在我们看来,很多业务决策都是依据我们的用户细分和预测结果做出的。在构建这些用户细分时,我们会尽量确保进入预测管道的数据准确无误,以便使从这些管道中得出的预测也同样准确无误。准确性方面出现任何差池都可能影响到某人的业务决策或收入。”
对于大多数数据与 ML 工程团队来说,很难做到长期跟踪模型性能,并输入主动警报以便在出现变更时收到通知。如果他的团队没有意识到数据问题,那么客户可能会依据过时或不太相关的数据做出预测。
这些挑战促使 The Weather Company 实施 IBM Databand 软件,以作为其数据可观察性解决方案。Databand 可帮助公司在数据问题影响业务之前主动解决这些问题。
在 Databand 出现之前,Kanchwala 的团队缺乏完备的监控工具来跟踪数据随时间推移的漂移情况。由于警报和报告数量有限,因此需要大量的人工干预。
Kanchwala 表示:“我们曾考虑过使用其他工具,但最终它们都不符合我们的数据工程沿袭流程。其他工具可能在监控应用程序或内存时表现出色,但不适合数据管道。”
该团队使用 Databand 的“全天候”数据监控功能来跟踪其 ML 功能和模型输出随时间推移的数据漂移情况。从数据工程的角度来看,Databand 可展示运行期间的数据管道沿袭和影响分析。
点击此处
自从使用 Databand 以来,数据与 ML 工程团队改进了数据沿袭和 SLA 跟踪。
Kanchwala 表示:“如果没有像 Databand 这样的操作视图,就很难了解我们 ML 管道的整体运行状况。整合 Airflow 的可用性跟踪和汇总指标非常有帮助。我很喜欢查看 Databand,也喜欢在同一仪表板中查看 Airflow 数据。”
总体而言,The Weather Company 通过以下几点改进了其数据工程 KPI:
点击此处
The Weather Company 是一家全球领先的天气提供商1,可帮助个人和企业制定更明智的决策,并采取措施应对各类天气情况。The Weather Company 在开放网络上提供了大量天气数据、洞察信息、广告和媒体解决方案,可帮助世界各地的个人、企业和品牌以可扩展、注重隐私的方式做好应对各种天气的准备,并用好天气优势。
1 据 Comscore 报告,从每月唯一访问者总数的均值来看,The Weather Channel 是 2022 年全球最大的天气预报提供商(网络和应用程序)。Comscore Media Metrix, Worldwide Rollup Media Trend, News/Information – Weather category incl. The [M] Weather Channel, The, Jan-Dec. 2022 avg
© Copyright IBM Corporation 2023. IBM Corporation, New Orchard Road, Armonk, NY 10504
美国出品,2023 年 12 月。
IBM、IBM 徽标、ibm.com 和 Databand 是 International Business Machines Corporation 在美国和/或其他国家或地区的商标或注册商标。其他产品和服务名称可能是 IBM 或其他公司的商标。IBM 商标的最新列表可参见 ibm.com/legal/copyright-trademark。
Autobrand、Cloud and Rainbow device、Icebreaker Studios、Social and device、The Lift、The Weather Company、The Weather Company and device、The Weather Underground、TWC、Weather Bonk、Weather Exchange、Weather FX and device、Weather Means Business、Weather Quickie、Weather Underground、Weather.com、WeatherFX、WU、WU and device、Wunderground、Wunderground.com、Wundermap 和 Wunderradio 是 IBM 旗下公司 TWC Product and Technology, LLC 的商标或注册商标。
本文档为自最初公布日期起的最新版本,IBM 可能随时对其进行更改。IBM 并不一定在开展业务的所有国家或地区提供所有产品或服务。
以上所有引用或描述的客户实例的展示取决于部分客户使用 IBM 产品的方式以及他们可能取得的结果。实际的环境成本和性能特征会因具体客户配置和情况而有所不同。无法提供通用的预期结果,因为每个客户的结果将完全取决于客户的系统和订购的服务。本文档内的信息“按现状”提供,不附有任何种类的(无论是明示的还是默示的)保证,包括不附有关于适销性、适用于某种特定用途的任何保证以及非侵权的任何保证或条件。IBM 产品根据其提供时所依据的协议条款和条件获得保证。[