发布日期：2024 年 1 月 18 日
撰稿人：Jim Holdsworth
模型漂移是指由于数据变化或者输入变量与输出变量之间的关系发生变化而导致模型性能下降。模型漂移（也称为模型衰减）可能对模型性能产生负面影响，从而导致错误的决策和糟糕的预测。
了解采用 AI 的障碍，特别是缺乏 AI 治理和风险管理解决方案。
注册以获取有关基础模型的指南
世界日新月异，数据也在随之不断变化，因此必须坚持不懈地审查和更新用来理解世界的模型。下面是需要解决的三种模型漂移，每种漂移都是由不同的原因造成的。
首先是概念漂移，当输入变量与目标变量之间发生变化时，就会发生这种漂移，这时，算法开始提供错误的答案，因为定义不再有效。自变量的漂移可能在不同的时期内产生影响：
概念漂移会定期反复发生和消失，例如由于天气变化而出现的季节性购买行为。在秋末冬初的寒冷天气里，雪铲和吹雪机的销量通常会增加。此外，还必须根据预期的降雪量进行地理调整。
出人意料的进展可能催生新的购买模式。例如，ChatGPT 的横空出世导致 AI 硬件和软件产品的需求量增大，AI 相关公司的股票价值也水涨船高。在这些新闻报道发布之前，经过训练的预测模型无法预测后续结果。另一个示例是新冠疫情爆发，这也造成了行为的突然转变：游戏和健身器材销量猛增，但餐馆和酒店客流锐减。
有些漂移是逐渐发生或按预期的速度发生。例如，多年来，垃圾邮件发送者和黑客们使用了多种工具和伎俩。随着防护软件和垃圾邮件过滤器不断改进，不法分子也相应升级了他们的攻击手段。任何旨在为数字交互提供保护的 AI 都需要与时俱进；静态模型很快就会变得毫无用处。
其次是数据漂移，也就是输入数据的底层数据分布发生了变化。在零售业，一种产品的销售可能由于另一种新产品的推出或者竞争产品的退市而受到影响。或者，如果一个网站首先被年轻人采用，但随后又受到老年人青睐，那么基于年轻用户使用模式的原始模型在老年用户群中的表现可能会打折扣。
第三种漂移是上游数据变化，也就是数据管道中发生变化。例如，上游数据可能改用另一种货币，比如美元换成欧元，或者以英里而不是公里为测量单位，或者以华氏度而不是摄氏度为温度测量单位。这样的变化会导致不考虑数据标记方式变化的模型遭到淘汰。
为了发现并帮助纠正模型漂移，组织应当考虑以下几点。
由于生产数据与模型的训练数据不同，AI 模型的准确性可能在部署之后的几天内下降。这可能导致错误的预测和面临重大风险。组织应当使用 AI 程序和监控工具，自动检测模型的精度何时下降（或漂移）到预设阈值以下。这个用来检测模型漂移的程序还应跟踪哪些事务导致了漂移，以使这些事务能被重新标记并用来重新训练模型，以恢复此程序在运行时的预测能力。
可以通过两种方法测量漂移。第一种是需要使用统计指标的统计方法。这种方法通常更容易实施，因为大多数指标通常已经在企业内投入使用。第二种是基于模型的方法。这种方法可以衡量一个点或一组点与参考基线的相似性。
组织应在 AI 模型的整个生命周期内定期对其进行测试。这样的测试最好包括：
- 在预生产环境中验证模型，并通过测试检测偏差和漂移，然后生成测试报告。
- 将模型的成功部署前测试配置转移至模型的已部署版本，并继续进行自动化测试。
- 将模型、数据和测试结果信息与记录系统同步。
- 自动化可以提供一致、可靠的通知，让各个团队有更多的时间专注于模型开发而不是模型监控。
据 Forrester 的总体经济影响研究显示，“通过在统一的数据和 AI 环境中构建、运行和管理模型，[组织]可以确保 AI 模型在任何位置均保持公平、可解释且合规。这种端到端的 AI 方法十分独特，可支持组织进行检测，并帮助纠正模型漂移和偏见，在 AI 模型投入使用时管理模型风险。”
最佳做法是从一个中央仪表板管理所有模型。一种综合性方法可以帮助组织持续跟踪指标，并提醒各个团队留意开发、验证和部署过程中的准确性和数据一致性发生的变化。集中、全面了解情况可以帮助企业打通数据孤岛，并提高整个数据沿袭中的透明度。
通过 AI 模型实时比较生产数据、训练数据和模型预测，以检测漂移情况和漂移幅度。这样就能迅速发现漂移，并立即开始重新训练。和机器学习操作 (MLOps) 一样，这一检测也是迭代式的。
基于时间的分析有助于了解漂移是如何演变和何时发生的。例如，如果每周执行一次检查，就可以了解每天的漂移演变情况。分析时间线也有助于确定漂移是逐渐发生还是突然发生的。
使用一个新的训练数据集，其中添加了最新的相关样本。目标是让您的大型语言模型 (LLM) 快速、正确地恢复生产。如果重新训练模型不能解决问题，可能需要使用一个新模型。
组织可以通过刚刚获得的最新真实数据更新自己的机器学习 (ML) 模型，以练习“在线学习”，而不是利用批量数据训练模型。
模型可能会出现漂移，因为用来训练模型的数据与要使用的实际生产数据存在显著差异。在医疗用例中，如果使用高分辨率扫描进行训练，但在现场只能执行低分辨率扫描，结果将会不正确。