AIハルシネーションとは

一般に、あるユーザーが生成AIツールにリクエストをするにあたって望んでいるのは、プロンプトに対する適正なアウトプット（つまり、質問に対する正しい回答）です。ただし、AIアルゴリズムで生成されるアウトプットが、トレーニング用データに基づいていない、Transformerで不正確にデコードされる、識別可能なパターンに従っていない、ということもあります。言い換えれば、応答の「ハルシネーション」です。

ハルシネーションという用語は大概の場合、機械でなく人間や動物の脳に関連付けられることから、逆説的に見えるかもしれません。しかし、比喩的な観点から見たハルシネーションでは、こうしたアウトプットが正確な描写なのです。画像認識やパターン認識（アウトプットの外観がまったく超現実的）の場合は特にそうです。

AIハルシネーションとは、人間に雲の上の人物や月の顔が見えることがあるのと同じようなものです。AIの場合、そのような誤った解釈が発生する要因はさまざまで、過剰学習、トレーニング用データのバイアス／不正確さ、高度に複雑なモデルなどです。

生成型のオープンソース・テクノロジーの問題を防ごうとすると、課題の多いことがわかります。AIハルシネーションで注目すべき例には、次のようなものがあります。

• Google社のチャットボット「Bard」は、ジェイムズ・ウェッブ宇宙望遠鏡が世界で初めて太陽系外の惑星の画像をキャプチャーしたと誤った主張をしています。¹
  

• Microsoft社のチャットAI「Sydney」は、ユーザーと恋愛関係になってBingの従業員をスパイしていたと認めています。²
  

• Meta社は2022年、ユーザーに不正確な情報を提供しており、中には偏見に根ざしたものがあることをにより、Galactica LLMのデモを取り下げました。³

こうした問題の多くは、それ以降に対処され解決されていますが、たとえ最良の状況であっても、AIツールを使用したことで予期せぬ望ましくない結果を招くことがあることは容易にわかります。

AIハルシネーションの結果により、現実世界のアプリケーションに重大な影響が及びます。例えば、ヘルスケアのAIモデルで良性の皮膚病変が悪性と誤認識されると、無用な医療介入につながることがあります。AIハルシネーションの問題が、誤った情報の拡散に寄与することもあります。例えば、ニュースボットのハルシネーションにより、ファクトチェックがされていない情報によって、緊急事態発生に関する問い合わせへの応答がされると、たちまち虚偽の情報が広まり、緩和策の妨げになります。機械学習アルゴリズムにおけるハルシネーションの重要な原因の1つは、インプットのバイアスですバイアスがかかったデータや代表的でないデータで構成されるデータセットでAIモデルがトレーニングされている場合、そうしたバイアスを反映したパターンや特徴によるハルシネーションが起きます。

AIモデルもまた、敵対的攻撃に対して脆弱です。悪意ある攻撃者が、インプットデータをこっそり細工して、AIモデルのアウトプットを操作するわけです。例えば、画像認識タスクに、敵対的攻撃が関与したことで画像に少量の特製ノイズが入り、AIの誤分類が引き起こされることある、などです。これは、特にサイバーセキュリティーや自動運転車テクノロジーなど機密性が高い分野で、セキュリティー上の重大な懸念になります。AI研究者は、AIツールを敵対的攻撃から守るためのガードレールを開発し続けています。敵対的学習（モデルのトレーニングで通常の例と敵対的な例を組み合わせるもの）のような技法は、セキュリティーの核心部分を強化するものです。しかし、その間もトレーニングとファクトチェックのフェーズでの警戒が最優先です。

AIハルシネーションの影響を軽減する最善の方法は、起きる前に阻止することです。AIモデルを常に最適に機能させるためには、次のような手順を取ります。

生成AIモデルではインプットデータに依存してタスクの実行結果を出すため、トレーニング・データ・セットの品質と関連性次第で、モデルの振る舞いとそのアウトプットの品質が決まります。ハルシネーションを防ぐため、AIモデルのトレーニング・データが多様でバランスが取れており十分に構造化されているようにします。こうすれば、モデルのアウトプットバイアスが最小化し、タスクがよりよく把握され、得られるアウトプットの効力が上がります。

AIモデルの使用に関する制限のほか、モデルをどのように使用するのかを明確にすることが、ハルシネーション軽減の助けとなります。チームでも組織でも、選択したAIシステムの責任と制限を確立するべきです。そうすれば、システムで実行されるタスクの結果の効力が上がり、「ハルシネーションによる」見当外れの結果は最小限に抑えられます。

データ・テンプレートで事前定義済みの形式を得たチームでは、AIモデルから規定のガイドラインに沿うアウトプットが生成される確率が高まります。データ・テンプレートを頼みにすれば、アウトプットの一貫性が確保され、モデルから誤った結果が作り出される確率が低くなります。

AIモデルでは、しばしばハルシネーションが発生します。起こり得る結果に制限をかける制約がないためです。この問題を回避し、結果の全体的な一貫性と精度を向上させるためには、フィルタリング・ツールや明確な確率的しきい値を使用して、AIモデルの境界を定義します。

ハルシネーション防止には、AIモデル使用前のテストを厳密に行うことが不可欠です。また、モデルを継続的に評価することも欠かせません。こうしたプロセスにより、システム全体のパフォーマンスが向上し、ユーザーはデータが古くなったり進化したりするのに応じてモデルを調整したり再トレーニングしたりできます。

AIアウトプットの検証やレビューを人間が行うようにすることが、ハルシネーションを防ぐための最終的なバックストップ策です。人間が監視に関与すれば、AIハルシネーションが発生しても、人間がフィルタリングして修正できるようになります。人間のレビュアーが対象分野の専門知識を提供すれば、AIコンテンツを正確に、かつタスクとの関連性によって評価する能力も高まります。

AIハルシネーションは、ほとんどの場合望ましくない結果であることは確かなのですが、その一方でさまざまな興味深いユースケースが挙がっており、その創造的な可能性を組織は前向きに活用することができます。たとえば、以下のような例が挙げられます。