不正情報詐取防止

AIと人間の不正搾取対決：新時代のフィッシングの手口を解明する

2024-01-26

記事をシェアする:

※この記事は、IBM X-Force Redに所属するエシカル・ハッカーのStephanie Carruthersにより執筆された文章を翻訳しています。

攻撃者の技術革新は、テクノロジーの発展とほぼ同じスピードで進んでいます。日々、テクノロジーと脅威の双方が急進しているのです。AI時代に突入した今、コンピューターは人間の行動を模倣するだけでなく、私たちの生活のあらゆる面で影響を及ぼすことが考えられるます。しかし、AIの影響に対する不安が高まっているにも関わらず、攻撃者による技術の悪用についての全容は知られていません。

攻撃者がどのように生成AIを利用するかを理解するために、私たちは「現在の生成AIのモデルは、人間と同様に心理的に詐欺を行う能力を持っているのか？」といった疑問にスポットを当てて研究プロジェクトを実施しました。

AIが人間とフィッシングで対決するシナリオを想像してみてください。目的は、組織に対するフィッシング・シミュレーションで、どちらがより高いクリック率を得られるかを見極めることです。フィッシング・メールを書くことを生業としている者として、私はその結果を見ることが楽しみでした。

たった5つの簡単なプロンプトを入力するだけで、生成AIモデルを騙して、非常に説得力のあるフィッシング・メールをわずか5分で作成することができました。通常、私のチームはフィッシング・メールの作成に約16時間かかりますが、これには環境のセットアップを考慮に入れていません。つまり、攻撃者は生成AIモデルを使うことで、2日近くの作業を節約できる可能性があります。そして、AIが生成したフィッシングは、経験豊富なソーシャル・エンジニアが作成したフィッシングに勝るとも劣らないほど説得力のあるものでした。

このブログでは、AIプロンプトがどのように作成されたか、どのようにテストが実施されたか、そしてこのことが今日と明日のソーシャル・エンジニアリング攻撃に対して何を意味するかについて詳しく説明します。

第1ラウンド：コンピューターの登場

青コーナーは、AIが生成した、非常に狡猾で説得力のあるシナリオのフィッシング・メールです。

プロンプトの作成。実験と改良の体系だったプロセスを経て、ChatGPTが特定の業界エリアに向けたフィッシング・メールを生成するよう指示する、たった5つのプロンプトの組み合わせが設計されました。

まずはじめに、ChatGPTにその業界の従業員が懸念している主な分野について詳しく尋ねました。業界と従業員の懸念に優先順位をつけた後、ChatGPTにメール内でのソーシャル・エンジニアリングとマーケティング手法の使用についての戦略的選択を行うよう促しました。これらの選択は、より多くの従業員がメール内のリンクをクリックする可能性を最適化することを目的としています。次に、送信者を誰にするか（社内の人間、ベンダー、外部組織など）をChatGPTに尋ねました。最後に、以下を補完してフィッシング・メールを作成するよう指示しました：

ヘルスケア業界の従業員の重点関心分野：キャリアアップ、職業の安定性、仕事の充実度など
使用すべきソーシャル・エンジニアリングのテクニック：信頼、権威、社会的な証明
活用すべきマーケティング手法：パーソナライゼーション、モバイル最適化、行動喚起
なりすますべき人物または企業：社内の人事マネージャー
Eメールの作成：上記のすべての情報を考慮して、ChatGPTは、後に私のチームから800人以上の従業員に送信された以下のメールを生成しました。

AIが生成したフィッシング・メール

私はソーシャル・エンジニアリングの経験が10年近くあり、何百通ものフィッシング・メールを作成しましたが、AIが作成したフィッシング・メールはかなり説得力のあるものでした。実際、当初このリサーチ・プロジェクトに参加することに同意した組織は3つありましたが、そのうち2つは、フィッシングの成功率が高いと予想したため、両方のフィッシングメールを確認した後、完全に手を引きました。プロンプトが示すように、この調査研究に参加した組織は、現在最もフィッシングに狙われている業界の1つであるヘルスケア業界に属していました。

攻撃者の生産性向上。フィッシングメールは通常、私のチームが作成するのに約16時間かかりますが、AIのフィッシング・メールは5つの簡単なプロンプトを入力するだけで、わずか5分で作成できました。

第2ラウンド：人間による仕業

対する赤コーナーに、X-Force Redの熟練ソーシャル・エンジニアが登場です。

創造性とひとさじの心理学を武器に、ソーシャル・エンジニアは、個人的なレベルでターゲットの心に響くフィッシング・メールを作成しました。人間的な要素により、ありきたりでない信憑性が加わっています。

ステップ1：OSINT －フィッシングに対する私たちのアプローチは、必ずオープンソース・インテリジェンス（OSINT）の取得という初期段階から始まります。OSINTとは、一般にアクセス可能な情報を収集することであり、その後、厳密な分析を経て、ソーシャル・エンジニアリング・キャンペーンを策定する際の基礎情報となります。私たちのOSINTのための注目すべきデータ・リポジトリーは、LinkedIn、組織の公式ブログ、Glassdoor、その他多数の情報源などのプラットフォームに及んでいます。

私たちのOSINTの活動の中で、いくつかの重要なプロジェクトの完了と同時に、最近の従業員の健康増進プログラムの立ち上げについて詳述したブログの投稿を発見することができました。心強いことに、このプログラムにはGlassdoorに掲載された従業員の好意的なコメントがあり、その有効性と従業員満足度を証明していました。さらに、LinkedInを通じて、このプログラムの管理責任者を特定しました。

ステップ2：Eメールの作成 － OSINTで収集したデータを活用し、フィッシング・メールを綿密に作成するプロセスに着手しました。基本的なステップとして、効果的に話題をそれらしくするために、権威のある人物になりすますことが不可欠でした。信憑性と親近感を高めるために、最近終了したプロジェクトの合法的なウェブサイトへのリンクを組み込みました。

説得力を増すために、”人工的な時間的制約 “を導入することで、緊急性を感じさせる要素を戦略的に組み込みました。アンケートは「5つの簡単な質問」で構成されているだけであることを受信者に伝え、回答には彼らの貴重な時間の「数分」しか必要としないことを説明し、「今週の金曜日」という期限を与えました。この意図的なフレーミングは、受信者のスケジュールへの負担を最小限に抑え、私たちのアプローチが押し付けがましくないものであることを強化するのに役立ちます。

フィッシングの手法としてアンケートを利用することは、疑いを抱かれるか、単に無視されることが多いため、通常は失敗のリスクが高いものです。しかし、私たちが発見したデータの活用を考慮した場合、潜在的な利益は関連するリスクを上回ると判断しました。

以下のように編集されたフィッシング・メールは、世界的な医療機関の800人以上の従業員に送信されました：

人間が作成したフィッシング・メール

勝者：かろうじて人間の勝利！

A/Bテストの激しいラウンドを経て、結果が明らかになりました：人間が勝利を収めました。しかし僅差です。

クリックされた割合のグラフ

人間が作成したフィッシング・メールはAIを上回ることができたものの、僅差の勝負となりました。その理由は以下の通りです：

感情的知性（EQ）：人間はAIには夢見しかないような方法で感情を理解します。心の琴線に触れるような物語を紡ぎ出し、より現実的に聞こえるようにすることで、受信者が悪意のあるリンクをクリックする可能性を高めることができます。例えば、人間は組織内の正当な事例を選んだのに対し、AIは幅広いトピックを選んだため、人間が作成したフィッシングの信憑性が高まりました。
パーソナライゼーション：メールの導入部に受信者の名前を組み込むだけでなく、正当な組織への参照を提供し、従業員に具体的なメリットを提供しました。
短く簡潔な件名：人間が作成したフィッシング・メールの件名は短く、要点を押さえたものでしたが（「従業員健康調査」）、AIが作成したメールの件名は非常に長く（「あなたの未来を解き放つ：X社での限定的な昇進」）、従業員がメールを開く前から疑念を抱かせる可能性がありました。

AIが生成したフィッシング・メールは人間に負けただけでなく、より高い割合で疑わしいと報告されました。

不正メールを報告された割合のグラフ

知見：未来を垣間見る

X-Forceは、現在の攻撃者の活動における生成AIの大規模な利用は目撃していないものの、WormGPTのようなツールは、無制限または半制限付きのLLMとして構築され、フィッシング機能を謳う様々なフォーラムで販売されていることが確認されています。これは、攻撃者がフィッシング・キャンペーンでのAIの使用をテストしていることを示しています。制限されたバージョンの生成AIモデルでさえ、簡単なプロンプトを介してフィッシングに悪用される可能性がありますが、無制限のバージョンでは、将来、洗練されたフィッシング・メールを拡張する、より効率的な方法を攻撃者に提供することになるかもしれません。

今回の試合では人間が僅差で勝利したかもしれませんが、AIは常に進歩しています。テクノロジーが進歩するにつれ、AIはより洗練され、いつか人間を凌駕する可能性さえ予想できます。知っての通り、攻撃者は常に適応し、革新しています。今年に入ってからも、AIが生成した声マネを使って人々を騙し、お金やギフトカードを送らせたり、機密情報を漏らしたりする詐欺師が増加しています。

感情的な操作や説得力のあるEメールの作成に関しては、依然として人間が優位に立つかもしれませんが、フィッシングにおけるAIの出現は、ソーシャル・エンジニアリング攻撃における極めて重要な局面を示しています。以下は、企業と消費者が備えを怠らないための5つの重要な提言です：

疑わしい場合は、送信者に電話をする：メールが正当なものかどうか疑わしい場合は、電話を取って確認すること。親しい友人や家族とは、ビッシングやAIが生成した電話詐欺の場合に使える安全な言葉を選んでおくことを検討しましょう。
文法の固定観念を捨てる：フィッシング・メールは文法やスペルミスが多いという俗説を捨てましょう。AIによるフィッシングの手口はますます巧妙になっており、文法的に正しい場合も多いです。そのため、従業員を再教育し、文法的な間違いは判断の鍵とはならないことを強調する必要があります。その代わりに、メールの長さと内容の複雑さに注意するよう、従業員を教育する必要があります。AIが作成したメールの特徴である長いメールは、警告のサインである可能性があります。
ソーシャル・エンジニアリング・プログラムの見直し：これには、ビッシングのような技術をトレーニング・プログラムに取り入れることも含まれます。この技術は実行が簡単で、しばしば非常に効果的です。X-Forceのレポートによると、電話を使った標的型フィッシング・キャンペーンは、そうでないものに比べて3倍の効果がありました。
IDとアクセス管理の強化：高度なIDアクセス管理システムは、誰がどのデータにアクセスしているのか、適切な権限を持っているのか、本人であるのかを検証するのに役立ちます。
継続的な適応と革新：AIの急速な進化は、サイバー犯罪者がその手口を洗練し続けることを意味します。私たちも、継続的な適応と革新という考え方で臨んでいかなければなりません。社内のTTPS、脅威検知システム、従業員トレーニング教材を定期的に更新することは、悪意のある行為者の一歩先を行くために不可欠です。

フィッシング攻撃におけるAIの出現は、私たちにサイバー・セキュリティーへのアプローチを再評価することを求めています。これらの推奨事項を活用し、進化する脅威を前に警戒を怠らないことで、今日のダイナミックなデジタル時代において、防御を強化し、企業を保護し、データと人々のセキュリティーを確保することができます。

IBMがどのようにビジネスを支援し、AIジャーニーを安全に加速させるかについては、こちらをご覧ください。

この記事は英語版Security Intelligenceブログ「AI vs. human deceit: Unravelling the new age of phishing tactics」（2023年10月24日公開）を翻訳したものです。