データのバイアス

欠陥のあるデータとは、代表的でない、情報が不足している、歴史的に偏っている、あるいはその他の「悪い」データを指します¹。これにより、アルゴリズムが不公正な結果を出力し、データ内のバイアスを強化することにつながります。偏った結果を意思決定のための入力データとして使用するAIシステムは、時間の経過とともにバイアスを強化するフィードバックループを生み出します。アルゴリズムが継続的に学習し、同じ偏ったパターンを永続させるこのサイクルで、出力結果の歪みはさらに大きくなります。

データが誤って分類または評価された場合、トレーニング段階でバイアスが発生することもあります。アルゴリズムは違いを理解する能力を持たないため、場合によっては因果関係ではなく相関関係を「学習」してしまうことがあります。このような場合、データ内でもっと重要かもしれない要素をモデルが考慮しなくなり、アルゴリズムのアウトプットに偏りが出る可能性があります。

相関バイアスとしてよく挙げられる例は、サメ被害の増加とアイスクリームの売上増加との間の因果関係を判別する仮定上のモデルです。実際には、どちらの状況も夏に発生する傾向があり、そこには相関関係しかありません。

アルゴリズム設計のバイアス

アルゴリズムの設計でもバイアスが入る可能性があります。AI設計者が意思決定プロセスにおける特定の要素を不当に重みづけするなど、プログラミング時のエラーが誰にも気づかれないままシステムに入り込むことがあります。重み付けは多くの場合、実際の母集団をよりよく反映するようにデータを調整するため、バイアスを回避するための手法です。ただし、重み付けには設計者による判断や想定が必要な場合があり、ここから不正確さやバイアスが生じることがあります。また、開発者が自身の意識的または無意識の偏見に基づいて、主観的なルールをアルゴリズムに組み込むこともあります。

プロキシー・データのバイアス

AIシステムは、人種や性別など、情報が隠されている属性の代役としてプロキシーを使用することがあります。ただし、プロキシーは、その後置き換えられるはずの機密属性に対して、誤った、または偶発的な相関関係を持つ可能性があり、ここで意図しないバイアスがかかる可能性があります。たとえば、アルゴリズムが経済状況のプロキシーとして郵便番号を使用する場合、郵便番号が特定の人種に関連付けられている特定のグループに対して、不当に不利な判断をする場合があります。

評価でのバイアス

評価でのバイアスは、アルゴリズムの結果が、客観的な結果ではなく、関係する個人の偏見に基づいて解釈される場合に発生します。アルゴリズムが中立的でデータ主導型であっても、個人や企業がアルゴリズムの出力を適用する方法について、出力の理解方法によっては不公平な結果につながる可能性があります。

差別と不平等

偏ったアルゴリズムの決定は、社会から疎外されているグループが直面している既存の社会的不平等を強化するもので、こうした人間のバイアスはAIシステムからの不公平で有害な結果をもたらす可能性があります。最も一般的なAIアプリケーションの多くは、リスクが低いように思えるかもしれませんが （検索エンジン、チャットボット、ソーシャルメディアのサイトなど）、個人の人生を変えるような決定に影響を与えるAIアプリケーションもあります。刑事司法、医療、雇用などの分野で、バイアスのあるAIツールを使用すると、壊滅的な結果をもたらす可能性があります。

たとえば、米国カリフォルニア州オークランドの過去の逮捕データには、これまでのアフリカ系アメリカ人が社会から疎外されていた状況が反映されています。このデータが現在の予測警察アルゴリズム（PPA）の訓練に使用される場合、PPAが下した決定は、こうした過去の人種的バイアスを反映し、強化する可能性があります。

法的および風評被害

バイアスの入った推奨事項はしばしば「異種の影響」を与え、バイアスのあるAIシステムを使用する組織が法的責任や風評被害にさらされる可能性があります。これは、人種、宗教、性別、その他の特性に基づく差別の影響を受けやすい人々など、一見中立的な方針や慣行が、配慮の必要な属性の個人に不利な影響を与える可能性のある状況を指す法律用語です。

バイアスの入ったAIの意思決定によって悪影響を受けて、配慮の必要な属性の人々が訴訟を起こし、組織での多額の金銭的負債、長期的な評判の低下、利害関係者からの非難につながる可能性があります。また、組織が適用される差別禁止法に違反していることが判明した場合、金銭的罰則が科せられる可能性もあります。

信頼の崩壊

AIツールがバイアスの入った結果を出すと、さまざまな面でAIに対する信頼を損ないます。組織がバイアスのあるAIシステムを抱えていることが判明した場合、ビジネス内の利害関係者がアルゴリズムを活用した意思決定プロセスに確信が持てなくなり、信頼が失われる可能性があります。また、これらの利害関係者は、AIによる最適化の価値よりもリスクが上回ると考え、テクノロジー全体に対する信頼を失うかもしれません。

アルゴリズム・バイアスによって顧客の信頼を失う可能性もあります。特に、ニュースが急速に広がる時代では、たった 1 回の差別でブランドの評判を傷つけることがあります。AIに対する信頼は、すでに物理的な世界で偏見や差別を経験している有色人種の人々など、社会から疎外されてきたグループを顧客として維持するために特に重要です。

刑事司法のバイアス

米国の裁判所は、被告人の再犯リスクを評価するために、代替制裁のための矯正犯罪者管理プロファイリング（COMPAS）ツールを使用しています。ProPublicaの調査によると、ツールのアルゴリズムが白人と黒人の被告を異なる方法で分類した可能性があることが明らかになりました。たとえば、リスク評価では、黒人の被告は白人の被告の2倍の確率で、暴力的な再犯のリスクが高いと誤って分類されました。ツールを作成した会社は、この分析に異議を唱えています。ただし、リスクスコアに到達するために使用された方法は開示されていません。²

予測型警察活動でのバイアス

研究者たちは、コロンビアのボゴタからの被害者報告データに基づいて訓練された独自の予測型警察活動アルゴリズムを構築しました。モデルの予測を実際の犯罪データセットと比較したところ、大きな誤りが見つかりました。たとえば、報告件数の多い地区では、犯罪の多い地域が実際よりも20%多いと予測されています。しかし、これは社会的偏見を反映しています。黒人は白人よりも犯罪の報告を受ける可能性が高いということです。³

医療におけるバイアス

医療の分野では、データにおけるマイノリティグループの過小評価が、予測AIアルゴリズムを歪める可能性があります。たとえばコンピューター診断支援（CAD）システムは、黒人の患者に対して白人の患者よりも精度の低い結果を返すことがわかっています。

採用におけるバイアス

Amazonは、女性の求職者に対する構造的差別が判明したため、AI採用ツールの使用を放棄しました。開発者は、主に男性である過去の採用者の履歴書を使用して採用アルゴリズムをトレーニングしていました。その結果、このアルゴリズムは男性の履歴書に見られるキーワードや特徴を不当に優遇していました。⁴

金融サービスにおけるバイアス

金融サービスにおけるバイアスは、人々の生活に深刻な結果をもたらす可能性があります。過去のデータには、信用度やローンの承認などに影響を与える、人口統計学上のバイアスが含まれている可能性があるためです。例えば、カリフォルニア大学バークレー校の研究によると、住宅ローンのAIシステムは、マイノリティの借り手に対して、白人の借り手と比較すると同じローンに対して日常的に高い金利を課していたことが示されています。⁵

画像生成のバイアス

学術研究者は、AI画像ジェネレーターMidjourneyのジェンダーバイアスを発見しました。生成された100枚を超える画像を分析した結果、結果に人種、クラス、年齢にバイアスのある例も見つかりました。たとえば、専門的な職業に就いている人々のイメージを作成するように依頼したところ、若い人も年配の人も描かれましたが、年長者は必ず男性であり、職場における女性の役割に対する性差別を強化していました。⁶

顔認識システムのバイアス

MITの研究では、写真の顔のマッチングなどに使用される汎用商用顔認識システムの一部では、肌の色が濃い個人を認識できないことが判明しました。肌の色が濃い女性ほど、認知度はさらに低くなりました。実際の人口統計を誤って表現したトレーニングデータが結果を歪めたのです。⁷

料金設定のバイアス

シカゴの法律によってライドシェアの会社に運賃の開示が義務づけられた後、研究者たちは、UberとLyftの価格設定アルゴリズムが、非白人人口の多い地域での降車により多くの料金を課していることを発見しました。⁸

多様で代表的なデータ

機械学習の良し悪しは、それをトレーニングするデータにかかっています。AIがサービスを提供する多様なコミュニティをより適切に反映するには、はるかに多様な人間のデータをモデルで表現する必要があります。機械学習モデルやディープラーニング・システムに入力されるデータは、包括的でバランスが取れており、すべての人々のグループを表し、社会の実際の人口統計を反映している必要があります。

バイアスの検知と軽減

コンピューター・システムが完璧に「訓練」されたり、「完成」したりすることはありません。継続的なモニタリングとテスト（影響評価、アルゴリズム監査、因果関係テストなどの取り組みを通じて）は、潜在的なバイアスが問題を引き起こす前に検出し、修正するのに役立ちます。「人間参加型（ヒューマン・イン・ザ・ループ）」システムなどのプロセスでは、決定前に人がレビューを行い、さらなる品質保証をするよう義務づけられています。

透明性と解釈可能性

AIシステムは、その結果を理解するのを困難にする「ブラックボックス」となる可能性があります。透明性のあるAIシステムは、基礎となるアルゴリズムの方法論と、誰が訓練したかを明確に文書化して説明します。AIシステムがどのようにトレーニングや調整され、どのように意思決定が行われるかについて理解する人が増えるほど、個々の利害関係者や社会全体がAIの精度と公平性を信頼できるようになります。

インクルーシブなデザインと開発
 

インクルーシブなAIは、人種や経済、教育段階、性別、職務内容、その他の人口統計学的指標によって異なるAIプログラマー、開発者、データサイエンティスト、MLエンジニアなど、多様で学際的なチームで構成されています。設計と開発内のダイバーシティーにより、さまざまな視点がもたらされ、他の方法では見過ごされがちなバイアスを特定して軽減できます。