ما هو بحث المتجهات؟

على عكس البحث التقليدي، الذي بطبيعته يستخدم البحث عن كلمات رئيسية، نجد أن بحث المتجهات يعتمد على أساليب بحث عن التشابه بين المتجهات مثل البحث عن أقرب جار (knn) لاسترداد نقاط البيانات المشابهة لمتجه الاستعلام استنادًا إلى أحد قياسات الأبعاد. حيث تقوم المتجهات برصد العلاقات الدلالية وأوجه التشابه بين نقاط البيانات، مما يتيح البحث الدلالي، بدلاً من البحث البسيط عن الكلمات الرئيسية.

لتوضيح الفرق بين الكلمة الرئيسية التقليدية والبحث المتجه، سنضرب مثالاً على ذلك. لنفترض أنك تبحث عن معلومات حول أفضل مطعم بيتزا باستخدام كلمات البحث "أفضل مطعم بيتزا" في محرك بحث تقليدي يعمل بطريقة البحث عن الكلمات الرئيسية. ستجد أن البحث عن الكلمات الرئيسية يؤدي بك إلى بحث عن الصفحات التي تحتوي على كلمات "أفضل" و"بيتزا" و"مطعم" بالضبط ولا يعرض لك نتائج إلا من قبيل "أفضل مطعم بيتزا" أو "مطعم بيتزا بالقرب مني". إذن نرى أن البحث التقليدي عن الكلمات الرئيسية يركز على مطابقة الكلمات الرئيسية بدلاً من فهم السياق كاملاً أو القصد من وراء البحث.

بينما في بحث المتجهات الدلالية، نجد الأمر على العكس، إذ يفهم محرك البحث القصد من وراء الاستعلام. فكلمة "الدلالي"، وفق تعريفها، تعني ما يتعلق بالمعنى في اللغة، أي أن البحث الدلالي يفهم معنى الاستعلام وسياقه. وفي المثال الحالي، سيبحث عن محتوى يتحدث عن أماكن البيتزا الأعلى تقييمًا أو الموصى بها، حتى إذا لم يتم استخدام كلمات "أفضل مطعم بيتزا" بالضبط في المحتوى. وستكون النتائج أكثر صلة بالسياق وقد تتضمن مقالات أو أدلة تناقش أماكن البيتزا عالية الجودة في مواقع مختلفة.

عادةً ما تمثل طرق البحث التقليدية البيانات باستخدام الرموز المميزة أو الميزات المنفصلة، مثل الكلمات الرئيسية أو العلامات أو البيانات الوصفية. وكما هو موضح في المثال أعلاه، تعتمد هذه الطرق على التطابقات التامة لاسترداد النتائج ذات الصلة. على العكس من ذلك، يمثل بحث المتجهات البيانات كمتجهات كثيفة (وهو المتجه الذي تكون فيه معظم العناصر أو جميعها غير صفرية) في فضاء متجهات مستمرة، وهو الفضاء الرياضي الذي يتم فيه تمثيل البيانات كمتجهات. حيث يتوافق كل بعد من أبعاد المتجه الكثيف مع ميزة كامنة أو جانب من البيانات، وهي خاصية أو سمة أساسية لا يتم ملاحظتها بشكل مباشر بل يتم استنتاجها من البيانات من خلال النماذج الرياضية أو الخوارزميات. وتعمل هذه الميزات الكامنة على رصد الأنماط والعلاقات المخفية في البيانات، وهو ما يتيح تمثيلاً أكثر دقةً وذا مغزى أكبر للعناصر كمتجهات في فضاء عالي الأبعاد.

قد تواجه طرق البحث التقليدية صعوبة في التوسع في مجموعات البيانات الكبيرة أو البيانات عالية الأبعاد بسبب القيود الحوسبية وقيود الذاكرة. وعلى العكس، تعد عمليات تضمين المتجهات أسهل في التوسع إلى مجموعات بيانات أكبر ونماذج أكثر تعقيدًا. على عكس التمثيلات المتفرقة للبيانات حيث تكون معظم القيم عبارة عن أصفار عبر الأبعاد، نجد أن التضمينات عبارة عن تمثيلات متجهة كثيفة لها قيم غير صفرية في معظم الأبعاد. حيث يتيح هذا لتضمينات المتجهات أن تخزن مزيدًا من المعلومات في مساحة أصغر ذات أبعاد أقل، مما يعني استخدام حجم ذاكرة أقل.¹ ونتيجة لذلك، يمكن لخوارزميات ونماذج التعلم الآلي استخدام عمليات التضمين بكفاءة أكبر باستخدام موارد حوسبية أقل.

في هذا الفيديو التوضيحي، نركز على تمثيلات المتجهات القابلة للتطبيق في إطار معالجة اللغة الطبيعية (NLP)، أي المتجهات التي تمثل الكلمات أو الكيانات أو المستندات.

سنقوم بتوضيح عملية تحويل البيانات إلى متجهات من خلال تحويل مجموعة صغيرة من الجمل إلى متجهات: "جلست القطة على الحصيرة"، و"لعب الكلب في الفناء" و"غردت الطيور على الأشجار".

وأول خطوة لبناء تضمينات المتجهات هي تنظيف مجموعة البيانات الأولية ومعالجتها. قد يتضمن ذلك إزالة التشوش من النص وإجراء توحيد قياسي له. فمثلاً، لن نقوم بأي تنظيف لأن النص تم تنظيفه بالفعل وتوحيده.

ثم بعد ذلك يتم اختيار نموذج التضمين ليتم تدريبه على مجموعة البيانات. حيث يتم استخدام نموذج التضمين المدرَّب لتوليد تضمينات لكل نقطة بيانات في مجموعة البيانات. للبيانات النصية، تشمل النماذج الشائعة المفتوحة المصدر كذلك Word2Vec و GloVe و FastText أو النماذج المعتمدة على المحوِّلات المدرَّبة مسبقًا مثل BERT أو RoBERTa².

على سبيل المثال، سنستخدم النموذج Word2Vec لتوليد التضمينات التي نريدها.

ثم بعد ذلك يتم تخزين التضمينات في قاعدة بيانات متجهات أو يتم استخدام مكون إضافي خاص بميزة البحث عن المتجهات بحيث يضاف إلى محرك بحث، مثل Elasticsearch. في بحث المتجهات، يتم تحديد مدى صلة وملاءمة نتيجة البحث من خلال تقييم مدى التشابه بين متجه الاستعلام، الذي يتم إنشاؤه عن طريق تحويل بيانات الاستعلام إلى متجهات، وبين متجه المستند، الذي يمثل البيانات الجاري الاستعلام عنها. ويجب إنشاء فهارس في قاعدة بيانات المتجهات لتمكين الاسترداد السريع والفعال للتضمينات وفق استعلامات التشابه. كما يمكن استخدام أساليب مثل خوارزمية HNSW (عالم صغير هرمي يمكن التنقل فيه) لفهرسة التضمينات وتسهيل البحث عن التشابه في وقت الاستعلام. حيث تنظم خوارزمية HNSW مجموعة البيانات وتتيح البحث السريع عن أقرب جار من خلال تجميع المتجهات المماثلة معًا أثناء عملية إنشاء الفهرس.

أخيرًا، يجب إنشاء آلية أو إجراء لتوليد متجهات للاستعلامات الجديدة. ويتضمن هذا عادةً إنشاء واجهة برمجة التطبيقات أو خدمة تستقبل استعلامات بحث المستخدم كمدخلات في الوقت الفعلي، ثم تعالجها باستخدام نفس نموذج المتجه وتقوم بتوليد تمثيل متجهات مطابق. ثم يمكن بعد ذلك استخدام هذا المتجه للبحث في قاعدة البيانات للحصول على النتائج الأكثر صلة.

في بحث المتجهات، يتم تحديد مدى الصلة عن طريق قياس التشابه بين الاستعلام ومتجهات المستند. لمقارنة متجهين أحدهما بالآخر وتحديد درجة التشابه بينهما، يمكن استخدام بعض قياسات المسافة، كالمسافة الإقليدية أو تشابه جيب التمام³.

المسافة الإقليدية هي قياس المسافة بين نقطتين في خط مستقيم. ويتم حسابها على أنها الجذر التربيعي لمجموع الفروق المربعة بين الإحداثيات المقابلة للنقطتين.

ويمكن توسيع هذه الصيغة لتشمل مساحات ذات أبعاد أعلى عن طريق إضافة مزيد من المصطلحات لحساب الأبعاد الإضافية.

تشابه جيب التمام هو مقياس التشابه بين ناقلين في مساحة متعددة الأبعاد. فهو يحسب جيب تمام الزاوية بين المتجهين، مما يشير إلى مدى محاذاة المتجهات بعضها مع بعض.

على طريقة الرياضيات، يتم حساب تشابه جيب التمام، cos(θ)، بين المتجهين كحاصل الضرب الداخلي (القياسي) للمتجهين مقسومًا على حاصل ضرب مقاديرهما.

يتراوح تشابه جيب التمام من 1- إلى 1، حيث: 

• يشير الرقم 1 إلى أن المتجهين متوازيان تمامًا (يشيران إلى نفس الاتجاه)،
• ويشير الرقم 0 إلى أن المتجهين متعامدان (أحدهما عمودي على الآخر)
• ويشير 1- إلى أن المتجهين يشيران في اتجاهين متعاكسين.

يعد تشابه جيب التمام مفيدًا بشكل خاص عند التعامل مع المتجهات، لأنه يركز على العلاقة الاتجاهية بين المتجهات بدلاً من التركيز على مقادير المتجهات.

رغم أنه يمكن استخدام مقاييس المسافة المذكورة سابقًا لقياس تشابه المتجهات، لن يكون من الفعال مقارنة جميع المتجهات المحتملة بمتجه الاستعلام في وقت الاستعلام للبحث عن التشابه بل ستكون عملية بطيئة وغير فعالة. ولحل هذه المشكلة، يمكننا استخدام بحث الجار الأقرب التقريبي (ANN).

بدلاً من العثور على تطابق تام، تبحث خوارزميات الجار الأقرب التقريبي بكفاءة عن أقرب متجهات إلى استعلام معين، على وجه التقريب، استنادًا إلى بعض مقاييس المسافة مثل المسافة الإقليدية أو تشابه جيب التمام. ومن خلال السماح بمستوى معين من التقدير التقريبي، يمكن لهذه الخوارزميات أن تقلل بدرجة كبيرة من زمن المعالجة الحسابية المستغرق للبحث عن أقرب جار دون حاجة إلى حساب أوجه التشابه المضمنة عبر مجموعة كاملة.

من خوارزميات الجار الأقرب التقريبي الأكثر شيوعًا خوارزمية HNSW التي تعتمد على الرسوم البيانية. حيث يقوم هيكل الرسم البياني بفهرسة مجموعة البيانات ويسهل البحث السريع عن أقرب جار من خلال تجميع المتجهات المتشابهة معًا أثناء إنشاء الفهرس. وتقوم خوارزمية HNSW بتنظيم البيانات في مناطق جوار، وربطها بالارتباطات المحتملة. ثم عند فهرسة متجه كثيف، فإنها تحدد منطقة الجوار المناسب وارتباطاته المحتملة، وتخزنها في بنية رسم بياني. أثناء بحث HNSW باستخدام استعلام متجه كثيف، فإنها تحدد موقع نقطة دخول الجوار الأمثل ويعيد أقرب جيران.

يحتوي بحث المتجهات على العديد من حالات الاستخدام في مختلف المجالات نظرًا لقدرته على استرداد العناصر المتشابهة بكفاءة بناءً على تمثيلات المتجهات الخاصة بها. فيما يلي بعض التطبيقات الشائعة لبحث المتجهات:

يُستخدم بحث المتجهات في محركات البحث لاسترداد المستندات أو المقالات أو صفحات الويب أو أي محتوى نصي آخر بناءً على درجة التشابه مع الاستعلام. حيث تمكّن هذه الطريقة المستخدمين من العثور على المعلومات ذات الصلة حتى لو كانت المصطلحات الدقيقة المستخدمة في الاستعلام غير موجودة في المستندات.

يعد بحث المتجهات مفيدًا في إطار التوليد المعزَّز بالاسترجاع (RAG) لاسترداد السياق ذي الصلة من مجموعة نصوص كبيرة. التوليد المعزَّز بالاسترجاع (RAG) هو إطار عمل للذكاء الاصطناعي التوليدي يجمع بين بحث المتجهات ونماذج اللغة التوليدية لتوليد استجابات.

في مهام توليد اللغة التقليدية، يتم استخدام النماذج اللغوية الكبيرة (LLM) مثل GPT (المُحول المُولِّد مسبق التدريب) من OpenAI أو نماذج Granite من IBM لإنشاء استجابات استنادًا إلى موجه الإدخال. ومع ذلك، قد تواجه هذه النماذج صعوبة في إنتاج استجابات ذات صلة بالسياق أو دقيقة من الناحية الواقعية أو محدَّثة. يعالج التوليد المعزَّز بالاسترجاع (RAG) هذه العقبة من خلال دمج خطوة الاسترجاع قبل توليد الاستجابة. أثناء الاسترداد، يمكن استخدام بحث المتجهات لتحديد المعلومات ذات الصلة بالسياق، مثل المقاطع أو المستندات ذات الصلة من مجموعة نصوص كبيرة، يجري تخزينها عادةً في قاعدة بيانات المتجهات. ثم بعد ذلك، يتم استخدام النموذج اللغوي الكبير (LLM) لإنشاء استجابة بناءً على السياق المسترَّد.

إلى جانب إنشاء اللغة، يمتلك التوليد المعزَّز بالاسترداد (RAG) وبحث المتجهات تطبيقات إضافية في العديد من مهام البرمجة اللغوية العصبية الأخرى، تشمل الإجابة على الأسئلة وروبوتات المحادثة والتلخيص وإنشاء المحتوى.

يمكن دمج بحث المتجهات في أساليب البحث الهجينة لتحسين كفاءة ومرونة عملية البحث. يجمع البحث الهجين بين بحث المتجهات وأساليب البحث الأخرى، مثل البحث المعتمد على الكلمات الرئيسية أو البحث المعتمد على بيانات التعريف (البيانات الوصفية). يمكن استخدام بحث المتجهات لاسترداد العناصر بناءً على مدى درجة تشابهها مع الاستعلام، بينما يمكن استخدام طرق بحث أخرى لاسترداد العناصر بناءً على التطابقات التامة أو وفق معايير محددة.

تُستخدم مخازن المتجهات في محركات البحث عن الصور والفيديو لفهرسة واسترجاع المحتوى المرئي بناءً على درجة التشابه. حيث يتم تخزين تضمينات الصور والفيديو كمتجهات، مما يتيح للمستخدمين البحث عن الصور أو مقاطع الفيديو المتشابهة، من الناحية المرئية، في مجموعات البيانات الكبيرة.

يمكن تشغيل محركات التوصية (الاقتراح) في خدمات البث الصوتي والمرئي عبر الإنترنت وكذلك في التجارة الإلكترونية ووسائل التواصل الاجتماعي ومنصات الوسائط المرئية عن طريق بحث المتجهات. حيث يتيح بحث المتجهات بالتوصية بمنتجات (اقتراحها) أو أفلام أو موسيقى أو عناصر أخرى بناءً على تشابهها مع العناصر التي تفاعل معها المستخدمون أو أعجبتهم من قبلُ.

يتم استخدام بحث المتجهات في تطبيقات البيانات الجغرافية المكانية لاسترداد البيانات المكانية مثل أماكن معينة محل اهتمام أو المعالم الجغرافية أو المسارات المكانية بناءً على قربها أو تشابهها مع موقع الاستعلام أو النمط. فهو يتيح البحث والتحليل المكاني الفعال في أنظمة المعلومات الجغرافية والخدمات القائمة على الموقع.