アルゴリズム・バイアスとは

人工知能（AI）システムは、アルゴリズムを使用してデータ内のパターンや洞察を発見したり、与えられた一連の入力変数から出力値を予測したりするものです。アルゴリズムに偏りがあると、これらの洞察やアウトプットに影響を与え、有害な決定や行動、差別や不平等の促進や固定化につながり、AIやAIを使用する機関への信頼を損なう場合があります。これうした影響から、企業に法的および財務的リスクが生じる可能性もあります。例としてEU AI法によれば、禁止されているAI慣行に違反すると、3500万ユーロ、または全世界の年間売上高の7%のうちいずれか高い方の罰金が科せられる可能性があります。

アルゴリズム・バイアスが特に深刻になるのは、医療、警察、人事などの分野で、個人の人生を変えるような決定をサポートするAIシステム内で発見された場合です。トレーニング入力データの歪み、不足、主観的なプログラミング決定、結果の解釈など、さまざまな形でアルゴリズムにバイアスが生じる可能性があります。

アルゴリズムのバイアスを軽減するには、まず透明性や説明可能性などを含めたAIガバナンスの原則を、AIライフサイクル全体に適用することが重要です。

アルゴリズム・バイアスはアルゴリズム自体ではなく、データサイエンス・チームがトレーニング・データを収集してコーディングするやり方によって発生します。具体的な原因には、次のようなものがあります。

• トレーニング・データのバイアス
• アルゴリズム設計のバイアス
• プロキシー・データのバイアス
• 評価でのバイアス

欠陥のあるデータとは、代表的でない、情報が不足している、歴史的に偏っている、あるいはその他の「悪い」データを指します。これにより、アルゴリズムが不公正な結果を出力し、データ内のバイアスを強化することにつながります。偏った結果を意思決定のための入力データとして使用するAIシステムは、時間の経過とともにバイアスを強化するフィードバックループを生み出します。アルゴリズムが継続的に学習し、同じ偏ったパターンを永続させるこのサイクルで、出力結果の歪みはさらに大きくなります。

データが誤って分類または評価された場合、トレーニング段階でバイアスが発生することもあります。アルゴリズムは違いを理解する能力を持たないため、場合によっては因果関係ではなく相関関係を「学習」してしまうことがあります。このような場合、データ内でもっと重要かもしれない要素をモデルが考慮しなくなり、アルゴリズムのアウトプットに偏りが出る可能性があります。

相関バイアスとしてよく挙げられる例は、サメ被害の増加とアイスクリームの売上増加との間の因果関係を判別する仮定上のモデルです。実際には、どちらの状況も夏に発生する傾向があり、そこには相関関係しかありません。

アルゴリズムの設計でもバイアスが入る可能性があります。AI設計者が意思決定プロセスにおける特定の要素を不当に重みづけするなど、プログラミング時のエラーが誰にも気づかれないままシステムに入り込むことがあります。重み付けは多くの場合、実際の母集団をよりよく反映するようにデータを調整するため、バイアスを回避するための手法です。ただし、重み付けには設計者による判断や想定が必要な場合があり、ここから不正確さやバイアスが生じることがあります。また、開発者が自身の意識的または無意識の偏見に基づいて、主観的なルールをアルゴリズムに組み込むこともあります。

AIシステムは、人種や性別など、情報が隠されている属性の代役としてプロキシーを使用することがあります。ただし、プロキシーは、その後置き換えられるはずの機密属性に対して、誤った、または偶発的な相関関係を持つ可能性があり、ここで意図しないバイアスがかかる可能性があります。たとえば、アルゴリズムが経済状況のプロキシーとして郵便番号を使用する場合、郵便番号が特定の人種に関連付けられている特定のグループに対して、不当に不利な判断をする場合があります。

評価でのバイアスは、アルゴリズムの結果が、客観的な結果ではなく、関係する個人の偏見に基づいて解釈される場合に発生します。アルゴリズムが中立的でデータ主導型であっても、個人や企業がアルゴリズムの出力を適用する方法について、出力の理解方法によっては不公平な結果につながる可能性があります。

アルゴリズム・バイアスが放置されると、差別や不平等が固定され、法的損害や風評被害が生じ、信頼が損なわれる可能性があります。

偏ったアルゴリズムの決定は、社会から疎外されているグループが直面している既存の社会的不平等を強化するもので、こうした人間のバイアスはAIシステムからの不公平で有害な結果をもたらす可能性があります。最も一般的なAIアプリケーションの多くは、リスクが低いように思えるかもしれませんが （検索エンジン、チャットボット、ソーシャルメディアのサイトなど）、個人の人生を変えるような決定に影響を与えるAIアプリケーションもあります。刑事司法、医療、雇用などの分野で、バイアスのあるAIツールを使用すると、壊滅的な結果をもたらす可能性があります。

たとえば、米国カリフォルニア州オークランドの過去の逮捕データには、これまでのアフリカ系アメリカ人が社会から疎外されていた状況が反映されています。このデータが現在の予測警察アルゴリズム（PPA）の訓練に使用される場合、PPAが下した決定は、こうした過去の人種的バイアスを反映し、強化する可能性があります。

バイアスの入った推奨事項はしばしば「異種の影響」を与え、バイアスのあるAIシステムを使用する組織が法的責任や風評被害にさらされる可能性があります。これは、人種、宗教、性別、その他の特性に基づく差別の影響を受けやすい人々など、一見中立的な方針や慣行が、配慮の必要な属性の個人に不利な影響を与える可能性のある状況を指す法律用語です。

バイアスの入ったAIの意思決定によって悪影響を受けて、配慮の必要な属性の人々が訴訟を起こし、組織での多額の金銭的負債、長期的な評判の低下、利害関係者からの非難につながる可能性があります。また、組織が適用される差別禁止法に違反していることが判明した場合、金銭的罰則が科せられる可能性もあります。

AIツールがバイアスの入った結果を出すと、さまざまな面でAIに対する信頼を損ないます。組織がバイアスのあるAIシステムを抱えていることが判明した場合、ビジネス内の利害関係者がアルゴリズムを活用した意思決定プロセスに確信が持てなくなり、信頼が失われる可能性があります。また、これらの利害関係者は、AIによる最適化の価値よりもリスクが上回ると考え、テクノロジー全体に対する信頼を失うかもしれません。

アルゴリズム・バイアスによって顧客の信頼を失う可能性もあります。特に、ニュースが急速に広がる時代では、たった 1 回の差別でブランドの評判を傷つけることがあります。AIに対する信頼は、すでに物理的な世界で偏見や差別を経験している有色人種の人々など、社会から疎外されてきたグループを顧客として維持するために特に重要です。

AIシステムを使用して意思決定を行うどのようなシナリオや分野でも、アルゴリズム・バイアスが発生する可能性があります。ここでは、アルゴリズム・バイアスの実例をいくつか紹介します。

• 刑事司法制度の偏り
• 医療におけるバイアス
• 採用におけるバイアス
• 金融サービスにおけるバイアス
• 顔認識システムのバイアス
• 料金設定のバイアス

米国の裁判所は、被告人の再犯リスクを評価するために、代替制裁のための矯正犯罪者管理プロファイリング（COMPAS）ツールを使用しています。ProPublicaの調査によると、ツールのアルゴリズムが白人と黒人の被告を異なる方法で分類した可能性があることが明らかになりました。例えば、リスク評価では、黒人の被告は白人の被告の2倍の確率で、暴力的な再犯のリスクが高いと誤って分類されました。ツールを作成した会社は、この分析に異議を唱えています。ただし、リスクスコアに到達するために使用された方法は開示されていません。¹

研究者たちは、コロンビアのボゴタからの被害者報告データに基づいて訓練された独自の予測型警察活動アルゴリズムを構築しました。モデルの予測を実際の犯罪データセットと比較したところ、大きな誤りが見つかりました。例えば、報告件数の多い地区では、犯罪の多い地域が実際よりも20%多いと予測されています。しかし、これは社会的偏見を反映しています。黒人は白人よりも犯罪の報告を受ける可能性が高いということです。²

医療の分野では、データにおけるマイノリティグループの過小評価が、予測AIアルゴリズムを歪める可能性があります。例えばコンピューター診断支援（CAD）システムは、黒人の患者に対して白人の患者よりも精度の低い結果を返すことがわかっています。

Amazonは、女性の求職者に対する構造的差別が判明したため、AI採用ツールの使用を放棄しました。開発者は、主に男性である過去の採用者の履歴書を使用して採用アルゴリズムをトレーニングしていました。その結果、このアルゴリズムは男性の履歴書に見られるキーワードや特徴を不当に優遇していました。³

金融サービスにおけるバイアスは、人々の生活に深刻な結果をもたらす可能性があります。過去のデータには、信用度やローンの承認などに影響を与える、人口統計学上のバイアスが含まれている可能性があるためです。例えば、カリフォルニア大学バークレー校の研究によると、住宅ローンのAIシステムは、マイノリティーの借り手に対して、白人の借り手と比較すると同じローンに対して日常的に高い金利を課していたことが示されています。⁴

学術研究者は、AI画像ジェネレーターMidjourneyのジェンダーバイアスを発見しました。生成された100枚を超える画像を分析した結果、結果に人種、クラス、年齢にバイアスのある例も見つかりました。例えば、専門的な職業に就いている人々のイメージを作成するように依頼したところ、若い人も年配の人も描かれましたが、年長者は必ず男性であり、職場における女性の役割に対する性差別を強化していました。⁵

MITの研究では、写真の顔のマッチングなどに使用される汎用商用顔認識システムの一部では、肌の色が濃い個人を認識できないことが判明しました。肌の色が濃い女性ほど、認知度はさらに低くなりました。実際の人口統計を誤って表現したトレーニングデータが結果を歪めたのです。⁶

シカゴの法律によってライドシェアの会社に運賃の開示が義務づけられた後、研究者たちは、UberとLyftの価格設定アルゴリズムが、非白人人口の多い地域での降車により多くの料金を課していることを発見しました。⁷

AI システムによるバイアスを軽減するには、まずAI ガバナンスが必要です。これは、AI ツールとシステムが安全で倫理的であることを保証するガードレールです。AIの研究、開発、応用を方向付ける枠組み、ルール、基準を確立し、安全性、公平性、人権の尊重を確保します。

組織は、システムライフサイクル全体にわたる潜在的なAIバイアスを回避するために、以下のAIガバナンスの原則を検討することをお勧めします。

• 多様で代表的なデータ
• バイアスの検知と軽減
• 透明性と解釈可能性
• 包括的なデザインと開発

機械学習の良し悪しは、それをトレーニングするデータにかかっています。AIがサービスを提供する多様なコミュニティをより適切に反映するには、はるかに多様な人間のデータをモデルで表現する必要があります。機械学習モデルやディープラーニング・システムに入力されるデータは、包括的でバランスが取れており、すべての人々のグループを表し、社会の実際の人口統計を反映している必要があります。

コンピューター・システムが完璧に「訓練」されたり、「完成」したりすることはありません。継続的なモニタリングとテスト（影響評価、アルゴリズム監査、因果関係テストなどの取り組みを通じて）は、潜在的なバイアスが問題を引き起こす前に検出し、修正するのに役立ちます。「人間参加型（ヒューマン・イン・ザ・ループ）」システムなどのプロセスでは、決定前に人がレビューを行い、さらなる品質保証をするよう義務づけられています。

AIシステムは、その結果を理解するのを困難にする「ブラックボックス」となる可能性があります。透明性のあるAIシステムは、基礎となるアルゴリズムの方法論と、誰が訓練したかを明確に文書化して説明します。AIシステムがどのようにトレーニングや調整され、どのように意思決定が行われるかについて理解する人が増えるほど、個々の利害関係者や社会全体がAIの精度と公平性を信頼できるようになります。

インクルーシブなAIは、人種や経済、教育段階、性別、職務内容、その他の人口統計学的指標によって異なるAIプログラマー、開発者、データサイエンティスト、MLエンジニアなど、多様で学際的なチームで構成されています。設計と開発内のダイバーシティーにより、さまざまな視点がもたらされ、他の方法では見過ごされがちなバイアスを特定して軽減できます。

政府や政策立案者は、AIの安全で責任ある使用を導き、場合によっては実施するのに役立つAIフレームワークと規制を策定しています。以下にその例を紹介します。

• 欧州連合は、バイアスを防止および緩和するための措置など、リスクの高いAIシステムに対する特定の要件を定めたEU AI法を導入しました。
  
  
• ニューヨーク大学の研究機関AI Now InstituteによるAlgorithmic Impact Assessments Reportは、実用的なフレームワークです。環境影響評価と同様に、公的機関がAIシステムを評価し、公的責任を確実にするために役立ちます。⁸
  
  
• ホワイトハウスによるAI権利章典の青写真には、アルゴリズムによる差別保護に特化した原則があります。ここには、原則を実践に移す方法についての期待事項と指針が記載されています。
  
  
• バイデン政権下で公布された、人工知能の安全で信頼できる開発と使用に関する大統領令は、米国司法省と公民権委員会のあいだでのトレーニング、技術支援、連携を通じて、アルゴリズムを用いた差別に対処するなど、AIの開発と使用に関するガイドラインを定めています。