什么是 AI 幻觉？

一般来说，如果用户向生成式 AI 工具提出请求，他们就会希望得到一个能正确回答提示问题的输出结果（即对问题的正确答案）。然而，有时 AI 算法会生成并非基于训练数据的输出结果，继而被转换器错误解码或不遵循任何可识别的模式。换句话说，它会在给出响应时“产生幻觉”。

鉴于幻觉通常与人类或动物的大脑而非机器有关，这个词似乎有些自相矛盾。但从隐喻的角度来看，“产生幻觉”可以准确地描述这些输出结果，尤其是在识别图像和模式时（在这种情况下，输出结果的外观可能真的是超现实的）。

AI 幻觉类似于人类有时看到云中的人影或月球上的面孔。就 AI 而言，出现这些误读的原因有很多，包括过度拟合、训练数据偏差/不准确和模型复杂度高。

预防生成式开源技术的问题可能具有挑战性。AI 幻觉的一些值得注意的例子包括：

• 谷歌的 "Bard" 聊天机器人错误地宣称，詹姆斯·韦伯空间望远镜拍摄到了世界上第一张太阳系外行星的图像。¹
  

• Microsoft 的聊天 AI "Sydney" 承认爱上了用户并监视 Bing 员工。²
  

• Meta 于 2022 年撤下了 Galactica LLM 演示，因为它向用户提供了不准确的信息，有时还带有偏见。³

虽然其中许多问题后来都得到了处理和解决，但不难看出，即使在最好的情况下，使用 AI 工具也会产生不可预见和不良的后果。

AI 幻觉会对现实世界的应用产生重大影响。例如，医疗保健 AI 模型可能会错误地将良性皮肤病变识别为恶性病变，从而导致不必要的医疗干预。AI 的幻觉问题也会助长错误信息的传播。例如，如果产生幻觉的新闻机器人用未经事实核查的信息回应有关正在发生的紧急情况的询问，它就会迅速传播虚假信息，从而破坏缓解工作。机器学习算法中幻觉的一个重要来源是输入数据的偏见。如果 AI 模型使用包含有偏倚或不具代表性的数据的数据集进行训练，它可能会产生反映这些偏见的幻觉模式或特征。

AI 模型还容易受到对抗性攻击，即不法分子通过巧妙地调整输入数据来操纵 AI 模型的输出。例如，在图像识别任务中，对抗性攻击可能是在图像中添加少量特别制作的噪音，导致 AI 对图像进行错误分类。这可能成为一个重大的安全问题，尤其是在网络安全和自动驾驶汽车技术等敏感领域。AI 研究人员正在不断开发保护 AI 工具免受对抗性攻击的护栏。对抗性训练等技术，即在正常和对抗性示例的混合基础上对模型进行训练，正在解决安全问题。但与此同时，在训练和事实检查阶段保持警惕至关重要。

减轻 AI 幻觉影响的最佳方法是在幻觉发生之前加以阻止。为了保持 AI 模型以最佳状态运行，您可以采取以下步骤：

生成式 AI 模型依靠输入数据来完成任务，因此训练数据集的质量和相关性将决定模型的行为及其输出的质量。为了防止出现幻觉，应确保 AI 模型是在多样化、均衡和结构良好的数据基础上进行训练的。这将有助于您的模型最大限度地减少输出偏差，更好地理解其任务并产生更有效的输出。

明确说明您将如何使用 AI 模型，以及使用该模型的任何限制，将有助于减少幻觉。您的团队或组织应确定所选 AI 系统的责任和限制；这将有助于系统更有效地完成任务，并尽量减少不相关的“幻觉”结果。

数据模板可为团队提供了预定义的格式，提高了 AI 模型生成符合规定准则的输出结果的可能性。依靠数据模板可确保输出的一致性，并降低模型产生错误结果的可能性。

AI 模型经常会产生幻觉，因为它们缺乏限制可能结果的约束条件。为防止出现这一问题并提高结果的整体一致性和准确性，可使用筛选工具和/或明确的概率阈值来定义 AI 模型的边界。

使用前严格测试 AI 模型对于防止出现幻觉至关重要，持续评估模型也同样重要。这些流程可提高系统的整体性能，并使用户能够随着数据的老化和演变而调整和/或重新训练模型。

确保由人工验证和审查 AI 的输出结果，是防止幻觉的最后一项后备措施。有人工监督可以确保，如果 AI 产生幻觉，人类可以对其进行筛选和纠正。人工审核员还可以提供主题方面的专业知识，从而提高他们评估 AI 内容准确性和与任务相关性的能力。

虽然在大多数情况下，AI 幻觉肯定是一种不受欢迎的结果，但它也提出了一系列有趣的用例，可以帮助组织以积极的方式利用其创造潜力。例如：