大規模言語モデル（LLM）とは

LLMとは

大規模言語モデル（LLM）は、大量なデータを使ってトレーニングされた基盤モデルのカテゴリであり、自然言語やその他のコンテンツを理解および生成し、幅広いタスクを実行することができます。

大規模言語モデルは、生成AIを世間一般の大きな関心事に押し上げる役割を果たしたことで、広く知られるようになりました。また、組織がさまざまな事業やユースケースにまたがって、人工知能を導入すべく力を入れていることにもあります。

ビジネス以外においては、生成AIの発展とともに、大規模言語モデルが突如として登場したように見えるかもしれません。しかし、IBMをはじめとする多くの企業は、自然言語理解（NLU）や自然言語処理（NLP）能力を高めるために、何年もの時間を費やして、さまざまなレベルで大規模言語モデルを導入できるように努力を続けてきました。またこれに加えて、機械学習、機械学習モデル、アルゴリズム、ニューラル・ネットワーク、およびこれらのAIシステムのアーキテクチャーを提供するトランスフォーマー・モデルも発展させてきました。

大規模言語モデルは、基盤モデルの1つのクラスです。大量のデータを使ってトレーニングされ、複数のユースケースや用途に応用し、多くのタスクを解決するうえで必要となる基礎機能を提供します。これは、ユースケースごとに個別にドメイン固有のモデルを構築し、トレーニングするという考えとは全く対照的です。なぜなら、多くの基準（最も重要なのはコストとインフラ）において実質不可能であり、相乗効果が得られず、パフォーマンスが劣る可能性さえあるからです。

大規模言語モデルは、自然言語処理と人工知能における大きな進歩であり、Microsoftの支援を受けているOpen AIのChat GPT-3やGPT-4などのインターフェイスを介して、一般に利用可能となっています。他の例としては、MetaのLlamaモデル、Googleのトランスフォーマー（BERT/RoBERTa）やPaLMモデルによる双方向のエンコード表現があります。IBMも最近、watsonx.aiでGraniteモデル・シリーズを始動しました。watsonx Assistantやwatsonx Orchestrateなど、他のIBM製品の生成AIの土台となっています。

簡単に言うと、大規模言語モデルは、トレーニングに使用される大量のデータに基づいて、他の形式のコンテンツに加えて、人間のようにテキストを理解および生成できるように設計されています。文脈から推測する能力、文脈に即したコヒーレント応答を生成する能力、英語以外の言語への翻訳能力、文章の要約能力、質問（一般的な会話やよくある質問）への回答能力、さらにはクリエイティブ・ライティングやコード生成タスクの支援能力を備えています。

言語の複雑なパターンを捉えて、言語に関連するさまざまなタスクを実行できる数十億ものパラメーターによってこれを実現しています。大規模言語モデルは、チャットボットや仮バーチャル・アシスタントからコンテンツ生成、検索支援、言語翻訳に至るまで、さまざまな分野での応用に変革をもたらしています。

大規模言語モデルが進化を続けるにつれて、私たちがテクノロジーと対話し、情報にアクセスする方法が新しくなり、今日のデジタル環境の極めて重要な部分となりつつあります。

Prestoの学習と操作

データ分析に役立つオープンソースのSQLエンジンであるPrestoの導入方法については、O'Reilly社が提供する資料をご覧ください。

関連コンテンツ

AIデータ・ストアに関する電子ブックに登録する

大規模言語モデルの仕組み

大規模言語モデルは、深層学習技術と大量のテキスト・データを使用しています。これらのモデルは通常、生成型の事前トレーニング済みトランスフォーマーのようなトランスフォーマー・アーキテクチャーをベースとしており、テキスト入力などのシーケンシャル・データの処理に優れています。大規模言語モデルは、複数のニューラル・ネットワーク層から構成されています。各層には、トレーニング中にファインチューニング整できるパラメーターがあり、データ・セットの特定の部分にダイヤルインする「Attention機構」として知られる、多数の層によってさらに強化されます。

これらのモデルは、トレーニング・プロセス中に、前の単語の文脈に基づいて、文章内の次の単語を予測する方法を学習します。トークン化された単語、つまり、より小さく分解された文字列の繰り返しに確率スコアを適用することでこれを実現します。これらのトークンは、この文脈の数値表現である埋め込みに変換されます。

このプロセスには、精度を担保するために、大規模コーパス（数十億ページ）を用いて大規模言語モデルをトレーニングすることが含まれています。ゼロショット学習および自己教師あり学習を通じて文法、意味論、概念的な関係を学習できるようになります。このトレーニング・データを用いてトレーニングすることで、入力に基づいて次の単語を自律的に予測し、取得したパターンと知識に基づいてテキストを生成できるようになります。その結果、一貫した、文脈に即した文章が生成され、幅広い自然言語理解およびコンテンツ生成タスクに利用できます。

モデルの性能は、プロンプト・エンジニアリング、プロンプト・チューニング、ファイン・チューニングや、人間のフィードバックによる強化学習（RLHF）などの手法によって向上させることもできます。これは、エンタープライズ・グレードの大規模言語モデルをすぐに使用できるようにし、組織が望ましくない責任にさらされたり、評判に傷をつけないようにするうえで最も重要な側面の1つです。

大規模言語モデルのユースケース

大規模言語モデルは、ますます多くのビジネス・プロセスを再定義しており、さまざまな業界における膨大なユースケースやタスクにおいて、その応用力の高さが証明されています。チャットボットやバーチャル・アシスタント（IBMのwatsonx AssistantやGoogleのBARDなど）の対話型AIを補強し、優れたカスタマー・ケアを支えるインタラクションを強化し、人間のエージェントとのやり取りを模倣した、文脈に即した応答を可能にします。

大規模言語モデルはコンテンツ生成にも優れており、ブログ記事、マーケティングや販促資料、その他の文章作成タスクのコンテンツ作成を自動化します。研究や学術界では、膨大なデータセットから情報を要約して抽出するのに役立ち、知識の発見を加速します。大規模言語モデルは、言語翻訳においても重要な役割を果たし、正確で文脈に即した翻訳を提供することで言語の壁を打ち破ります。コードを書いたり、プログラミング言語間における「翻訳」にも活用できます。

さらに、テキスト読み上げアプリケーションやアクセシブルな形式でのコンテンツの生成など、障がいのあるユーザーを支援することで、アクセシビリティーの改善に貢献します。大規模言語モデルにより、プロセスの最適化、カスタマー・エクスペリエンスの向上、データに基づいた効率的な意思決定な可能になり、ヘルスケアから金融まで幅広い業界に変革が起こっています。

さらに注目すべきは、これらのすべての機能に簡単にアクセスすることができ、場合によっては、API統合のみで可能になることです。

組織に大きな恩恵をもたらす、大規模言語モデルでできること：

テキスト生成：洗練させることができるプロンプトに応じて、電子メール、ブログ投稿、またはその他のボリュームが大きめのコンテンツ作成するなどの文章生成能力。例：検索拡張生成（RAG）

コンテンツの要約：長文記事、ニュース記事、調査レポート、企業文書、さらには顧客の履歴情報を、出力形式に合わせた長さのテキストに要約します。

AIアシスタント：セルフサービスの統合カスタマー・ケア・ソリューションの一部として、顧客の質問に答え、バックエンド・タスクを実行し、自然言語で詳細情報を提供するチャットボット。

コード生成：開発者のアプリケーションの構築、コード内のエラーの発見、複数のプログラミング言語のセキュリティ問題の発見、さらにプログラミング言語間の「翻訳」を支援します。

センチメント分析：顧客からのフィードバックを大規模に理解し、ブランドの評判管理に役立てられるように、テキストを分析して顧客の口調（トーン）を判断します。

言語翻訳：自然な翻訳と多言語機能により、言語や地域を越えて、組織に幅広い対応力を提供します。

大規模言語モデルは、顧客のセルフサービスを自動化し、増加するタスクの応答時間を短縮するだけではありません。より高い精度、強化されたルーティング、インテリジェントなコンテキスト収集により、金融、保険、人事、ヘルスケアなど、あらゆる業界に変革をもたらします。

大規模言語モデルとガバナンス

組織がAIモデルの可能性を活用して、ビジネスに変革をもたらすには、ガバナンス・プラクティスにおける強固な基盤が必要です。信頼性が高く、透明性があり、責任があり、安全なAI ツールとテクノロジーへのアクセスが必要になります。AIガバナンスとトレーサビリティは、IBMがお客様に提供するソリューションの基本的な側面でもあります。AIに関わる活動が管理・監視され、常に監査可能で説明責任を果たせる方法で、オリジン、データ、モデルを追跡できるようにします。