AI が偏見によって間違いを犯した場合（人々のグループが機会を拒否されたり、写真で誤認されたり、不当に罰せられたりするなど）、違反した組織はそのブランドと評判に損害を被ります。 同時に、それらのグループの人々や社会全体が、気づかないうちに危害を加える可能性があります。 ここでは、AI における格差と偏見、そしてそれらが引き起こす可能性のある害について、注目を集めている例をいくつか紹介します。

医療分野では、女性または少数派グループのデータが過小評価されていると、予測 AI アルゴリズムが歪む可能性があります。 ² たとえば、コンピューター支援診断 (CAD) システムは、白人の患者よりもアフリカ系アメリカ人の患者に対して得られる精度が低いことがわかっています。

AI ツールは、検索中の履歴書スキャンのオートメーションを効率化し、理想的な候補者を特定するのに役立ちますが、要求された情報とふるいにかけられた回答により、グループ全体で不均衡な結果が得られる可能性があります。 たとえば、求人広告に「忍者」という言葉が使用されている場合、それは決して仕事の要件ではありませんが、女性よりも男性を惹きつける可能性があります。³   

画像生成のテストとして、ブルームバーグは 5,000 枚を超える AI 画像の作成を要求し、「安定拡散による世界は白人男性 CEO（最高経営責任者）によって運営されている」ことが判明しました。 女性が医者、弁護士、裁判官になることはめったにありません。 肌の色が黒い男性は犯罪を犯し、肌の色が黒い女性はハンバーガーをひっくり返します。⁴  Midjourney は、専門の職業に就いている人々の画像をリクエストして、AI アート生成に関する同様の研究を実施しました。 この成果では、若い人と高齢者の両方が存在することが示されましたが、高齢者は常に男性であり、職場における女性の役割に対するジェンダーバイアスが強化されました。 ⁵

刑事司法制度の一部の組織で使用されている AI 搭載の予測警察ツールは、犯罪が発生する可能性のある地域を特定することになっています。 しかし、過去の逮捕データに頼ることが多く、既存の人種プロファイリングのパターンやマイノリティコミュニティへの不均衡な標的化が強化される可能性があります。⁶

歪んだ成果は組織や社会全体に悪影響を与える可能性があります。 ここでは、より一般的なタイプの AI バイアスをいくつか紹介します⁷ 。

• アルゴリズムのバイアス: 問題や質問が完全に正しくない、または具体的ではない場合、または機械学習アルゴリズムに対するフィードバック、ご意見（お客様に意見を求める場合）が解決策の検索に役立たない場合、誤った情報が生じる可能性があります。

• 認知バイアス: AI テクノロジーには人間によるインプットが必要ですが、人間は間違いを犯しやすいものです。 個人的な偏見は、開業医が気づかないうちに浸透している可能性があります。 これは、データセットまたはモデルの動作に影響を与える可能性があります。
   

• 確証バイアス: 認知バイアスと密接に関係しており、AI がデータ内の既存の信念や傾向に依存しすぎると、既存のバイアスが倍増して新しいパターンや傾向を特定できなくなるときに発生します。
   

• 除外バイアス: このタイプのバイアスは、多くの場合、開発者が新しい重要な要素に気付かなかったために、使用されているデータから重要なデータが除外された場合に発生します。
   

• 測定バイアス:測定バイアスは、不完全なデータによって引き起こされます。これはほとんどの場合、考慮すべき母集団全体がデータセットに含まれていない見落としまたは準備不足です。 たとえば、大学が卒業成功の要因を予測したいが、卒業生のみが含まれていた場合、答えは一部の中退を引き起こす要因を完全に見逃します。
   

• アウトグループ同質性バイアス:これは、自分が知らないことを知らない場合です。 人々は、内グループのメンバー、つまり自分が属するグループについてよりよく理解し、彼らが外グループのメンバーよりも多様性があると考える傾向があります。 成果としては、開発者がトレーニング データ内の多数派グループに属さない個人を区別する能力が低いアルゴリズムを作成し、人種的偏見、誤分類、不正確な回答につながる可能性があります。

• 偏見バイアス: 固定観念や誤った社会的前提がアルゴリズムのデータセットに入り込むと発生し、必然的に偏った成果が得られます。 たとえば、AI は医師は男性だけで看護師はすべて女性であることを示す成果を返すことができます。
   

• 想起バイアス: これは、データのラベル付け中に発生し、主観的な観察によってラベルが一貫して適用されません。
   

• サンプル/選択バイアス: これは、機械学習モデルのトレーニングに使用されるデータが十分に大きくない、十分に代表的でない、またはシステムを十分にトレーニングするには不完全すぎる場合に問題になります。 AIモデルを訓練するために相談を受けたすべての学校教師が同じ教育機関向けの資格を持っている場合、将来検討される教師はすべて同じ教育機関向けの資格を持っている必要があります。
   

• 固定観念バイアス: これは、AI システムが (通常は不注意で) 有害な固定観念を強化するときに発生します。 たとえば、言語翻訳システムでは、一部の言語を特定の性別や民族的ステレオタイプに関連付けることができます。 マッキンゼーは、データセットから偏見を取り除こうとするApproachについて次のように警告しています。 しかし、削除されたラベルがモデルの理解に影響を及ぼし、成果の精度が悪化する可能性があるため、このApproach機能しない可能性があります。」 ⁸

バイアスの罠を回避するための最初のステップは、最初の段階に戻り、AI の取り組みについて少し考えてみることです。 ほとんどすべてのビジネス上の課題に当てはまることですが、トレーニングの失敗を待ってから損傷した成果を整理するよりも、問題を事前に修正し、修正プログラムを適用する方がはるかに簡単です。 しかし、多くの組織は急いでおり、一銭もお金もかからず、コストがかかります。

AI におけるAI のバイアスを特定し、取り組む、配置するには、 AI ガバナンス、つまり組織の AI 活動を指揮、管理、監視する能力が必要です。 実際には、AI ガバナンスは、AI テクノロジーの責任ある開発と使用を導くための一連のポリシー、慣行、フレームワークを作成します。 AI ガバナンスがうまく機能すると、企業、顧客、従業員、社会全体にバランスのとれた恩恵が与えられるようになります。

AI ガバナンスには、公平性、公平性、包括性を評価することを目的とした手法が含まれることがよくあります。 反事実的公平性などのアプローチは、性別、人種、性的指向などのデリケートな属性が含まれている場合でも、モデルの意思決定におけるバイアスを特定し、公平な成果を保証します。

AI は複雑であるため、アルゴリズムは、その作成に使用されるデータへのインサイトがほとんどないブラックボックス システムになる可能性があります。 透明性の実践とテクノロジーは、公平なデータがシステムの構築に使用され、成果が公平であることを保証するのに役立ちます。 顧客の情報の保護に取り組む企業はブランドの信頼を築き、信頼できる AI システムを構築する可能性が高くなります。

品質保証の別のレイヤーを提供するには、「ヒューマン・イン・ザ・ループ」システムを導入して、オプションを提供したり、人間の意思決定によって承認できる推奨事項を作成したりします。

AI プログラムをバイアスから守るための 6 つのプロセス ステップのチェックリストを次に示します。

1. 正しい学習モデルを選択します。

• 教師ありモデルを使用する場合、利害関係者は訓練データを選択します。 利害関係者チームが単なるデータサイエンティストではなく多様であり、無意識の偏見を防ぐためのトレーニングを受けていることは重要です。
  
• 教師なしモデルは、AI のみを使用してバイアスを特定します。 ニューラル・ネットワークが何がバイアスされているかを認識できるように、バイアス防止ツールをニューラル・ネットワークに組み込む必要があります。

2. 正しいデータでトレーニングする: 間違ったデータでトレーニングされた機械学習は、間違った成果を生み出します。 AI に入力されるデータはすべて、考慮されているグループの実際の人口統計を再現するために完全でバランスが取れている必要があります。

3. バランスの取れたチームを選ぶ: AI チームが人種的、経済的、教育レベル別、性別別、職務内容別に多様であればあるほど、偏見を認識する可能性が高くなります。 バランスの取れた AI チームの才能と視点には、AI ビジネスのイノベーター、AI の作成者、AI の実装者、およびこの特定の AI 取り組みの消費者の代表が含まれる必要があります。 ⁹

4. データ処理を慎重に実行する: 企業は、データを処理する際の各段階でバイアスを認識する必要があります。 リスクはデータの選択だけにあるわけではありません。前処理中、処理中、後処理中であっても、どの時点でもバイアスが忍び込み、AI に入力される可能性があります。

5.継続的に監視する:モデルが完全または永続的ではありません。 組織全体からの実世界のデータを使用した継続的なモニタリングとテストは、害が生じる前に偏見を検知し修正するのに役立ちます。 偏見をさらに避けるために、組織は、組織内の独立したチームまたは信頼できるサードパーティによるアセスメントを検討する必要があります。

6. インフラの問題を回避する: 人的影響やデータの影響は別として、 インフラ 自体がバイアスを引き起こすことがあります。 たとえば、機械センサーから収集されたデータを使用すると、センサーが誤動作している場合、設備自体がバイアスを注入する可能性があります。 この種の偏見は検知が難しい場合があり、最新のデジタルおよび技術インフラへの投資が必要です。