データの性質は大きく変わりました。 もはや、従来のデータベースに簡単に保存できる構造化された情報だけにとどまりません。 非構造化データは 、ソーシャルメディアの投稿、画像、動画、オーディオクリップなど、前年比で30〜60%増加しています。² 通常、非構造化データソースを従来のリレーショナルデータベースにロードしてAIの保存、管理、準備を行う場合、特に類似検索などの新しい生成的ユースケースでは、そのプロセスは多大な労力を要し、効率的とは言えません。 リレーショナルデータベースは特定の形式の構造化データセットと半構造化データセットの管理に最適ですが、ベクターデータベースは高次元のベクター埋め込みによる非構造化データセットに最適です。

ベクトルを入力します。ベクトルは、機械学習 (ML) モデルによって生成された、単語、画像、動画、音声などの複雑なオブジェクトを表すことができる数値の配列です。 高次元のベクターデータは、機械学習、自然言語処理 (NLP)、その他の AI タスクに不可欠です。 ベクターデータの例としては、次のようなものがあります。

• テキスト: 最後にチャットボットとやり取りしたときのことを思い出してください。 自然言語をどのように理解しているのでしょうか? これらは、機械学習アルゴリズムを介して変換される、単語、段落、文書全体を表すことができるベクトルに依存しています。

• 画像: 画像のピクセルは数値データで記述され、結合されてその画像の高次元ベクトルを構成できます。

• 音声/オーディオ: 画像と同様に、音波も数値データに分解してベクトルとして表すことができるため、音声認識などの AI アプリケーションが可能になります。

組織がAIに必要とする非構造化データセットの量は今後も増え続けるでしょう。では、何百万ものベクターをどのように処理しているのでしょうか。 ここで、ベクター埋め込みとベクターデータベースが役立ちます。 これらのベクトルは、埋め込みと呼ばれる連続した多次元空間で表現されます。埋め込みは、ベクトルデータを埋め込みに変換することに特化した埋め込みモデルによって生成されます。 ベクターデータベースは、埋め込みモデルの出力を保存し、インデックスを付ける役割を果たします。 ベクトル埋め込みはデータを数値で表現したもので、意味的意味や事実上あらゆるデータ型の類似機能に基づいてデータセットをグループ化します。

たとえば、「車」と「車両」という単語を考えてみましょう。 綴りは異なりますが、どちらも同様の意味を持っています。 AI アプリケーションが効果的なセマンティック検索を可能にするには、「自動車」と「車両」のベクトル表現がそれらのセマンティックな類似性を捉える必要があります。 機械学習に関しては、エンベディングはこの意味情報をエンコードする高次元ベクトルを表します。 これらのベクター埋め込みは、レコメンデーション、チャットボット、ChatGPT などの生成アプリのバックボーンです。

ナレッジ グラフは、オブジェクトやイベントなどのエンティティのネットワークを表し、それらの間の関係を示します。 グラフデータベースは、ナレッジグラフ情報を格納し、グラフ構造として視覚化するための目的に適したデータベースです。 グラフ データベースは、既知のエンティティとそれらの間の複雑な関係を表すノードとエッジに基づいて構築されますが、ベクトル データベースは高次元ベクトルに基づいて構築されます。 その結果、データ ポイント間の複雑な関係を処理するにはグラフ データベースが適しており、画像やビデオなどのさまざまな形式のデータを処理するにはベクトル データベースが適しています。

特にカスタマーケアや人事/人材などの主要なユースケースでは、市場投入までの時間の短縮、効率的な推論、信頼性の高い出力のために、ジェネレーティブAIワークフローにおける検索拡張生成（RAG）アプローチを好む企業が増えています。 RAG は、モデルが最新の信頼できる事実にリンクされていること、およびユーザーがモデルのソースにアクセスできることを保証するため、モデルの主張の正確性をチェックできます。 RAG は、大規模な言語モデルを信頼できるデータに固定してモデルの幻覚を軽減する機能の中核です。 このアプローチは、高次元のベクターデータを活用して、基礎モデルによるコンテキスト内学習のための意味的に関連する情報をプロンプトに充実させることに依存しています。 最も大量のデータを処理する推論段階での効果的な保存と取得が必要です。 ベクトル データベースは、これらの高次元ベクトルの効率的なインデックス作成、保存、取得に優れており、レコメンデーション エンジンやチャットボットなどのアプリケーションに必要な速度、精度、スケールを提供します。

ベクター データベース機能への関心と、企業の AI ベースのアプリケーションを強化するための採用が急速に高まっていることは明らかですが、次のようなメリットも採用者にとってビジネス価値を示しています。

速度とパフォーマンス:ベクターデータベースは、検索を高速化するためにさまざまなインデックス技術を使用しています。 ベクトルインデックスと最近傍検索などの距離計算アルゴリズムは、最適化されたパフォーマンスで、数十億とは言わないまでも、数百万のデータポイントにわたって関連する結果を検索する場合に特に役立ちます。

スケーラビリティ：ベクターデータベースは、クエリ要求やデータ量が増加してもパフォーマンスを維持しながら水平方向に拡張することで、大量の非構造化データを保存・管理することができます。

所有コスト：ベクターデータベースは、基礎モデルをゼロからトレーニングしたり、微調整したりするための貴重な代替手段である。 これにより、基礎モデルの推論のコストと速度が削減されます。

柔軟性：ベクターデータベースは、画像、動画、その他の多次元データなど、複雑なデータにも対応できるように設計されています。 セマンティック検索から会話型 AI アプリケーションに至るまでの複数のユースケースを考慮すると、ビジネスと AI の要件を満たすようにベクター データベースの使用をカスタマイズできます。

LLMの長期記憶:組織は、IBM watsonx.aiのGranite シリーズモデル、MetaのLlama-2、GoogleのFlanモデルなどの汎用モデルから始めて、独自のデータをベクトルデータベースで提供して、検索拡張生成に不可欠なモデルとAIアプリケーションの出力を強化できます。

データ管理コンポーネント：ベクターデータベースは通常、非構造化データの更新や挿入を簡単に行うための機能を内蔵している。

ベクトル データベースのアプリケーションは膨大であり、成長を続けています。 ユースケースには次のものがあります。

セマンティック検索: クエリの意味またはコンテキストに基づいて検索を実行し、より正確で関連性の高い結果を実現します。単語だけでなくフレーズもベクトルとして表現できるため、セマンティック ベクトル検索機能は一般的なキーワードよりもユーザーの意図をよりよく理解します。

類似性検索と応用:類似の画像、テキスト、音声、動画データを簡単に検索して、高度な画像認識や音声認識、自然言語処理などを含むコンテンツ検索を行います。

レコメンデーションエンジン：たとえば、電子商取引サイトでは、ベクターデータベースとベクターを使用して、顧客の好みや製品属性を表現できます。 これにより、ベクターの類似性に基づいて過去に購入したものと同様のアイテムを提案できるようになり、ユーザーエクスペリエンスが向上し、定着率が高まります。

会話型 AI: 関連するナレッジ ベースを効率的かつ正確に解析し、ユーザーのクエリに対するリアルタイムのコンテキストに応じた回答を、参照用のソース ドキュメントとページ番号とともに提供する機能を強化することで、仮想エージェントの対話を改善します。