更新日:2024年6月6日
寄稿者:Jim Holdsworth
自然言語処理(NLP)は、コンピューター・サイエンスと 人工知能(AI)のサブフィールドで、機械学習を使用してコンピューターが人間の言語を理解してコミュニケーションできるようにします。
NLPは、計算言語学(人間の言語ルール・ベースのモデリング)、統計モデリング、機械学習(ML) 、ディープラーニングを組み合わせることで、コンピューターやデジタル・デバイスがテキストや音声を認識、理解、生成できるようにします。
NLP研究により、大規模言語モデル(LLM)のコミュニケーション・スキルから画像生成モデルの要求理解能力まで、生成AIが活躍する時代が到来しました。NLPはすでに多くの人々の日常生活の一部となっており、検索エンジンのコア要素となったり、音声コマンドによるカスタマー・サービス用のチャットボットのプロンプト生成、音声操作のGPSシステム、スマートフォンのデジタル・アシスタントなど、幅広く利用されています。
それだけではありません。NLPは、業務の効率化および自動化、従業員の生産性の向上、基幹業務ビジネスのプロセスの簡素化を助ける企業向けのソリューションでも、さらに多くの役割を果たすようになっています。
このモデル選択フレームワークを使用して、パフォーマンス要件とコスト、リスク、導入ニーズのバランスをとりながら、最も適切なモデルを選択してください。
AIガバナンスに関するホワイトペーパーに登録する
自然言語処理システムは迅速かつ効率的に動作します。NLPモデルが適切にトレーニングされた後は、管理タスクを引き受けることができるため、従業員はより生産的な作業に時間を費やすことができます。それによるメリットの一部をご紹介しましょう。
より迅速な洞察の発見:組織は、複数のコンテンツにまたがり潜むパターン、傾向、関係性を見つけることができます。テキスト・データの取得により、より深い洞察と分析が可能になり、より情報に基づいた意思決定が可能になり、新しいビジネス・アイデアがひらめくようになるでしょう。
予算の大幅縮小:非構造化テキスト・データを大量に利用できるため、NLPを使用すると、情報の収集、処理、整理を自動化し、人為的作業を減らせます。
企業データへの素早いアクセス:企業は、次の知識ベースを構築できます。AI 検索により組織情報に効率的にアクセスできるようになります。NLPは関連情報を迅速に返し、顧客サービスを向上させ、販売を成立させるのに役立ちます。
人間も話し言葉で間違えを起こしやすいのと同様に、NLPモデルは完璧ではありませんし、おそらく完璧になることはないでしょう。リスクの例としては以下のようなものがあります。
偏りのあるトレーニング:どのAI機能にも言えることですが、トレーニングに使われるデータに偏りがあると、答えも偏ってしまいます。NLP機能の利用者が多種多様であればあるほど、行政サービス、医療、人事業務などにおけるリスクがより重大なものとなります。例えば、Webサイトからかき集めたトレーニング・データ・セットは偏りがある傾向があります。
誤解:プログラミングと同様、GIGO(ごみを入れたらゴミが出てくる)のリスクがあります。NLPソリューションは、音声入力がよくわからない方言、つぶやき、スラング、同音異義語、間違った文法、慣用句、断片、発音の誤り、短縮語が多すぎるなどの問題を含んで話された場合、または背景の騒音が大きすぎる場合に混乱する可能性があります。
新しい言葉:新しい言葉は常に生み出され、あるいは輸入されています。文法の慣習は進化することもあれば、意図的に破られることもあります。このような場合、NLPは最善の推測をすることも、確信が持てないと認めることもできますが、いずれにしても、こうしたことは複雑さを招きます。
話し方:人が話すとき、その話し方やボディランゲージにより、言葉だけとはまったく違う意味を与えることがあります。効果を得るために誇張したり、重要性や皮肉を込めて単語を強調したりすると、NLPでは混乱する可能性があり、意味分析がより困難になり、信頼性が低くなります。
人間の言語は、曖昧さが溢れています。その曖昧さが、テキストまたは音声データが意図する意味を正確に判別するソフトウェアの開発をさらに難しくしています。人間が言語を習得するには何年もかかる可能性があり、多くの人は学習をやめません。しかし、プログラマーは、自然言語駆動のアプリケーションに不規則性を認識して理解するように教えて、そのアプリケーションを正確で有用なものにする必要があります。
NLPは、計算言語学と機械学習アルゴリズムおよびディープラーニング深層学習を組み合わせたものです。計算言語学は、データサイエンスを使用して言語と音声を分析する言語学の分野です。これには、構文分析と意味分析という2種類の主要分析が含まれます。構文分析では、単語の構文を解析し、事前にプログラムされた文法規則を適用することによって、単語、フレーズ、または文の意味を判断します。意味分析では、構文出力を使用して単語から意味を引き出し、文構造内でその意味を解釈します。
単語の解析では、次の2つのうちいずれかの解析が行われます。依存関係解析では、名詞と動詞の識別など、単語間の関係が調べられます。一方、構成要素解析では、文または単語の文字列の構文構造をルート化して順序付けして表現した解析ツリー(または構文ツリー)が構築されます。結果として得られる解析ツリーは、言語翻訳者と音声認識の機能の基盤となります。理想的には、この分析により、テキストまたは音声のいずれの出力でも、NLPモデルとユーザーの両方が理解できるようになることが期待されます。
特に、自己教師学習(SSL)は、最先端の人工知能(AI)モデルをトレーニングするために大量のラベル付きデータを必要とするNLPをサポートするのに役立ちます。このようなラベル付けされたデータセットには時間のかかる注釈(人間が手動でラベル付けするプロセス)が必要なため、十分なデータを収集することは非常に困難です。自己教師ありアプローチは、トレーニング・データに手動でラベルを付ける必要の一部またはすべてを置き換えるため、時間とコスト効率が向上します。
NLPには、次の3つのアプローチがあります。
ルール・ベースNLP:初期のNLPアプリケーションは単純なif-then Decision Treesで、あらかじめプログラムされたルールが必要でした。特定のプロンプトに応答してのみ回答を提供できます。この一例が、Moviefoneのオリジナル・バージョンです。ルールベースのNLPには機械学習やAI機能がないため、この機能は非常に制限されており、拡張性がありません。
統計的NLP:後に開発された統計NLPは、テキストと音声データの要素を自動的に抽出し、分類してラベル付けすることで、それらの要素の考えられる意味ごとに統計的な尤度を割り当てます。これは機械学習に依存しており、品詞タグ付けのような言語学の高度な分解を可能にします。
統計NLPでは、単語や文法規則などの言語要素をベクトル表現にマッピングする重要な手法が導入され、回帰モデルやマルコフ・モデルなどの数学的(統計的)手法を使用して言語をモデル化できるようになりました。これは、スペルチェッカーやT9テキスト送信(プッシュ電話でかつて使用されていた9つのアルファベット・キーを用いたテキスト送信)など、初期のNLP開発に影響を与えました。
ディープラーニングNLP:近年、ディープラーニング・モデルは、テキストと音声の両方で、膨大な量の未加工非構造化データを使用してさらに精度を高めるNLPの主流モードになりました。ディープラーニングは、統計的NLPのさらなる進化とみなすことができますが、ニューラル・ネットワーク・モデルを使用するという違いがあります。モデルには、次のように複数のサブカテゴリーがあります。
これらのテクノロジーとその学習アプローチの違いについて詳しくは、「 AI vs. Machine Learning vs. Deep Learning vs. Neural Networks: What’s the Difference?(AI、機械学習、ディープラーニング、ニューラル・ネットワークの違い:何が違うのか)」をご覧ください。
複数のNLPタスクでは通常、コンピューターが取り込んだ人間のテキストと音声データを理解できる形で処理します。これらのタスクには、次のようなものがあります。
言語タスク
ユーザー支援業務
これらの概念がどのように関連するかについて詳しくは、ブログ記事「 NLP vs. NLU vs. NLG: the differences between three natural language processing concepts(NLP、NLU、NLGの違い:3種類の自然言語処理コンセプトにおける主な違い)」を参照してください。
従来の機械学習と、基盤モデルによる新しい生成AI機能を統合した、まったく新しいエンタープライズ・スタジオです。
組織はNLPを使用して、電子メール、SMS、音声、ビデオ、ニュースフィード、SNSなどの通信を処理できます。実際NLPは、多くの最新アプリケーションでAIを活用するための推進力となっています。以下にそうした例を一部ご紹介します。
プログラミング言語「Python」は、特定のNLPタスクに取り組むための幅広いツールとライブラリーを提供しています。これらの多くは、NLPプログラムを構築するためのライブラリー、プログラム、教育リソースを集めたオープンソース・コレクションであるNatural Language Toolkit(NLTK)に搭載されています
NLTKには、文の解析、単語の分割、ステミング、レンマ化(単語を語源までトリミングする方法)、トークン化(フレーズ、文、段落、文章をトークンに分割して、コンピューターがテキストをよりよく理解できるようにする方法)など、多くのNLPタスクとサブタスク用のライブラリーが含まれています。これには、テキストから抽出された事実に基づいて論理的な結論に達する機能である、語義の推論などの機能を導入するためのライブラリーも含まれています。NLTKを使用すると、組織は品詞タグ付けの結果を確認できます。単語のタグ付けは複雑ではないように思えるかもしれませんが、単語は使われる場所によって意味が異なるため、そのプロセスは複雑です。
組織は、IBMパートナーがより優れたAI機能を提供できるように設計されたコンテナ化されたライブラリーであるIBM Watson NLP Library for Embedなどのユーザー・フレンドリーな生成AIプラットフォームを活用することで、デジタル・ソリューションでNLPの機能を使えるようになります。開発者はこれにアクセスして任意の環境のアプリケーションに統合し、堅牢なAIモデル、広範な言語範囲、スケーラブルなコンテナ・オーケストレーションを備えたエンタープライズ対応ソリューションを開発できます。
また、質問への回答、コンテンツの生成と要約、テキストの分類と抽出など、さまざまなNLPタスクをサポートするモデル構成を作成するための複数のオプションを可能にするIBM ® watsonx.ai AI studioを連携して、より多くのNLP機能を有効にすることもできます。例えば、 watsonxとHugging Face AIを使用すると、開発者は事前トレーニング済みのモデルを使用して、さまざまなNLPタスクをサポートするようにできます。
ライブラリー、サービス、アプリケーションの強力かつ柔軟なポートフォリオにより、人工知能のビジネス価値を促進します。
IBMパートナーの柔軟性を高めるように設計されたコンテナ化されたライブラリーを利用して、強力な自然言語AIを商用アプリケーションに浸透させます。
Graniteは、デコーダーのみのトランスフォーマー・アーキテクチャーに基づくIBMのLLM基盤モデルの主力シリーズです。Graniteの言語モデルは、インターネット、教育機関、各種規定、法律、金融にまたがり信頼性の高いエンタープライズ・データでトレーニングされています。
プロンプト・エンジニアリング、大規模な言語モデル、オープンソース・プロジェクトなど、AIと生成AIの基本概念を説明します。
このNLPの解説書では、さまざまなNLPのユースケースについて説明します。
IBM DeveloperのWebサイトにアクセスして、ブログ、記事、ニュースレターなどをご覧ください。IBMパートナーになって、IBM Watsonの組み込み可能なAIを貴社のソリューション・ポートフォリオに追加しましょう。IBM Watson NLP Library for Embedをソリューションにポートフォリオに加えてください。
IBM Data & AI GMのRob Thomasが、NLPの専門家やクライアントを迎え、NLPテクノロジーがさまざまな業界のビジネスをどのように最適化しているかを紹介します。
サンプル・リクエストと追加リソースへのリンクを活用して、Natural Language Understanding APIについて学びます。