My IBM Log in اشترك

ماذا يعني تلخيص النص؟

06 مايو 2024

المؤلفين

Jacob Murel Ph.D.

Senior Technical Content Creator

Eda Kavlakoglu

Program Manager

تلخيص النص يعني اختصار نص واحد أو أكثر إلى ملخصات أقل طولًا لتحسين استخراج المعلومات.

تلخيص النصوص (أو تلخيص المستندات) التلقائي هو إحدى طرق معالجة اللغة الطبيعية (NLP) التي تكثف المعلومات المستمدة من مستند نصي واحد أو أكثر وتحولها إلى نص مخرج أصلي. وهناك خلاف على الكم الذي سيظهر في النص المخرج من النص المدخل — فبعض التعريفات تشير إلى أنه سيظهر من النص المدخل 10% فقط في النص الملخص، بينما بعض التعريفات الأخرى تشير إلى أنه سيظهر منه 50%.1 وغالبًا ما تستخدم خوارزميات تلخيص النصوص هياكل التعلم العميق- المحوِّلات على وجه التحديد — لتحليل المستندات وإنشاء ملخصات نصية.

تصميم ثلاثي الأبعاد لكرات تتدحرج على مسار

أحدث الأخبار والرؤى حول الذكاء الاصطناعي 


تتوفر معارف وأخبار منسقة بمهارة حول الذكاء الاصطناعي والسحابة وغيرها في نشرة Think الإخبارية الأسبوعية. 

أنواع التلخيص الآلي للنصوص

يوجد نوعان رئيسيان من التلخيص: التلخيص الاستخراجي والتلخيص التجريدي.

في التلخيص الاستخراجي، يتم استخراج الجمل غير المعدَّلة من مستندات النصوص الأصلية. الفرق الرئيسي بين خوارزميات الاستخراج هو كيفية تسجيل أهمية الجملة مع تقليل التكرار الموضوعي. الاختلافات في تقييم الجمل تحدد الجُمل التي يجب استخراجها والجُمل التي يجب الإبقاء عليها.

أما التلخيص التجريدي فيؤدي إلى إنشاء ملخصات أصلية باستخدام جُمل غير موجودة في مستندات النصوص الأصلية. ويتطلب إنشاء هذه الملخصات شبكات عصبية ونماذج لغوية كبرى (LLM) لإنتاج تسلسلات نصية ذات معنى دلالي.

وكما هو ظاهر، يُعد التلخيص التجريدي أكثر تكلفة من التلخيص الاستخراجي من الناحية الحسابية، ويتطلب فهمًا أكثر تخصصًا للذكاء الاصطناعي والأنظمة التوليدية. وبطبيعة الحال، يمكن أن يستخدم تلخيص النصوص الاستخراجي أيضًا محوِّلات الشبكات العصبية — مثل GPT وBERT وBART — لإنشاء الملخصات. ومع ذلك، فإن الأساليب الاستخراجية لا تتطلب بالضرورة استخدام الشبكات العصبية2

التلخيص الاستخراجي في مقابل التلخيص التجريدي

أظهرت التقييمات المقارنة بين كل من تقنيات التلخيص الاستخراجي والتلخيص التجريدي نتائج متباينة. على سبيل المثال، تشير بعض الأبحاث إلى أن التلخيص التجريدي أكثر عرضة لظهور الأخطاء، أي يُنتج معلومات مضللة أو كاذبة فعليًا.3 بيد أن أبحاثًا أخرى تشير إلى أن الأخطاء التجريدية تتواءم في الواقع مع المعارف العالمية، حيث إنها مستمدة من مصدر التلخيص ذاته.4 وتُظهر مقارنات أخرى بين تقنيات التلخيص الاستخراجي والتلخيص التجريدي أن لكل منهما مزاياها النسبية. فبينما يرى المستخدمون أن الملخصات التجريدية أكثر تماسكًا، إلا إنهم يرون في الوقت نفسه أن الملخصات الاستخراجية أكثر ثراءً بالمعلومات وأكثر ملاءمة.5 وتشير الأبحاث كذلك إلى أن الجدل حول الموضوع النصي يؤثر في كيفية نظر المستخدمين إلى أنواع الملخصات المختلفة.6 ومن ثَم، قد لا تكون هناك مقارنة تقييمية مباشرة بين هذين النوعين من التلخيص.

Mixture of Experts | بودكاست

فك تشفير الذكاء الاصطناعي: تقرير إخباري أسبوعي

انضم إلى لجنة عالمية المستوى من المهندسين والباحثين وقادة المنتجات وغيرهم وهم يجتازون طريق الذكاء الاصطناعي لتزويدك بأحدث أخباره والمعارف المتعلقة به.

كيف يعمل التلخيص الاستخراجي

كما هو الحال مع مهام معالجة اللغة الطبيعية الأخرى، تتطلب عملية تلخيص النصوص أن تخضع البيانات النصية أولاً إلى مهام ما قبل المعالجة. يتضمن ذلك التجزئة إلى رموز مميزة، وإزالة الكلمات الشائعة، واستخدام التجذيع أو التجريد، بهدف جعل مجموعات البيانات قابلة للقراءة من قِبل نموذج التعلم الآلي. بعد الانتهاء من مهام ما قبل المعالجة، تتبع جميع طرق تلخيص النصوص الاستخراجي ثلاث خطوات عامة مستقلة هي: التمثيل، وتقييم الجمل، واختيار الجمل.

التمثيل

في مرحلة التمثيل، تُقسِّم الخوارزمية البيانات النصية التي خضعت لمهام ما قبل المعالجة وتمثلها من أجل مقارنتها. وتقوم العديد من عمليات التمثيل هذه على نماذج حقائب الكلمات، والتي تمثل أجزاء النص - الكلمات أو الجُمل - كنقاط بيانات في فضاء المتجهات. قد تلجأ مجموعات البيانات الكبرى متعددة المستندات إلى استخدام مقياس تكرار المصطلح- تكرار المستند العكسي (TF-IDF)، وهو أحد أشكال حقائب الكلمات التي تزن كل كلمة لتعكس مدى أهمية هذه الكلمة ضمن مجموعة نصية معينة. وتُعد أدوات نمذجة الموضوعات مثل التحليل الدلالي الكامن (LSA) طريقة أخرى من طرق التمثيل تعمل على إنتاج مجموعات من الكلمات الرئيسية التلخيصية المرجَّحة بين كل المستندات. وهناك خوارزميات أخرى، مثل LexRank وTextRank، تستخدم الرسوم البيانية. تمثل هذه الأساليب القائمة على الرسوم البيانية الجُمل في شكل عُقد (أو نقاط) متصلة بخطوط وفقًا لدرجات التشابه الدلالي. كيف تقيس الخوارزميات مدى التشابه الدلالي؟7

تقييم الجُمل

في مرحلة تقييم الجملة، كما هو واضح من اسم المرحلة، تُقيّم كل جملة في النص حسب مدى أهميتها لهذا النص. وتنفِّذ عمليات التمثيل المختلفة طرق تقييم مختلفة. على سبيل المثال، تُقيِّم أساليب تمثيل الموضوعات كل جملة وفقًا لمدى تعبيرها عن الموضوع الرئيسي بمفردها أو بالاشتراك مع غيرها. وعلى وجه التحديد، قد يتضمن هذا ترجيح الجُمل وفقًا لمعدل تكرار ظهور كلمات الموضوع الرئيسية مع بعضها. تُقيّم الأساليب المعتمدة على الرسوم البيانية مدى مركزية الجمل. تُقيّم هذه الخوارزميات المركزية باستخدام مقياس تكرار المصطلح- تكرار المستند العكسي (TF-IDF) والذي بدوره يحسب مدى بُعد عقدة جملة معينة عن مركز ثقل المستند في فضاء المتجهات.8

اختيار الجملة

الخطوة العامة الأخيرة في خوارزميات التلخيص الاستخراجي هي اختيار الجمل. عن طريق ترجيح الجمل حسب الأهمية، تختار الخوارزميات أهم n الجمل بالمستند أو بالمجموعة. وتشكل هذه الجمل الملخص الناتج. لكن ماذا لو حدث تداخل دلالي وموضوعي بين هذه الجمل؟ هنا تتجلى أهمية خطوة اختيار الجملة والتي تهدف إلى تقليل التكرار في الملخصات النهائية. تتبع أساليب الأهمية الهامشية القصوى النهج التكراري. إذ تُعيد حساب درجة أهمية الجملة، تحديدًا، وفق مدى تشابه تلك الجملة مع جُمل مختارة سابقًا. تختار طرق الاختيار العمومية مجموعة فرعية من الجُمل الأكثر أهمية لتعظيم الأهمية الإجمالية وتقليل معدل التكرار.9

وكما اتضح لنا من هذه النظرة العامة، يُعد تلخيص النصوص الاستخراجي في نهاية المطاف مسألة تتعلق بترتيب النص (وفي أغلب الأحيان، الجمل). تعمل أساليب التلخيص الاستخراجي على ترتيب المستندات وسلاسلها الاختبارية (للعينة والجُمل) أو إنتاج ملخص يتطابق بأفضل شكل ممكن مع الموضوعات المركزية المحددة في النصوص المتوفرة. وهكذا يمكن أن يُنظر إلى التلخيص الاستخراجي على أنه شكل من أشكال استرجاع المعلومات.10

كيف يعمل تلخيص النص التجريدي

وكما ذكرنا، تستخدم تقنيات تلخيص النصوص التجريدي الشبكات العصبية لإنشاء نص أصلي يلخص مستندًا واحدًا أو عدة مستندات. على الرغم من وجود العديد من أساليب تلخيص النصوص التجريدي، إلا إنه لا يوجد في الأدبيات أي نظام تصنيف شامل يصف هذه الأساليب.11 ومع ذلك، فمن الممكن إلقاء نظرة عامة على الأهداف العامة لهذه الأساليب المختلفة.

ضغط الجملة

كما هو الحال مع العديد من تطبيقات الذكاء الاصطناعي، يهدف تلخيص النصوص التجريدي في النهاية إلى محاكاة الملخصات التي من إعداد البشر. ومن أهم سمات هذه الملخصات اختصار الجمل، وهذا هو عين ما يفعله البشر عند تلخيص النصوص والجمل الطويلة واختصارها إلى جمل أقصر. توجد طريقتان عامتان لاختصار الجمل: الطريقة القائمة على القواعد والطريقة الإحصائية.

تعتمد الطريقة الأولى على المعرفة النحوية لتحليل الأجزاء النحوية. وهي تستخدم الكلمات الرئيسية، أو الدلائل النحوية، أو حتى تسميات أقسام الكلام لاستخراج أجزاء من النص تدمج معًا بعد ذلك، ويُجرى ذلك وفق نموذج محدد مسبقًا غالبًا. ويمكن إنشاء هذا النموذج من تحليل نصي تلقائي إضافي أو من قواعد يحددها المستخدم.2

أما في الطريقة الإحصائية، فيتعلم النموذج (المُعد سواء من تدريب مسبق أو من الضبط الدقيق) أجزاء الجملة التي ينبغي إزالتها. على سبيل المثال، قد تحدد أداة التحليل بالأشجار الجُمل المتشابهة في النص المدخَل وتُجمّع الجُمل المتشابهة في بنية الشجرة. تُعد شجرة التبعية أحد الهياكل التي تُنشئ نماذج للجمل وفقًا للعلاقة المتصورة بين الكلمات، بما يتناسب مع ترتيبات المُسند والمُسند إليه. قد تتمثل الأفعال في جمل هذا الهيكل كعُقد مركزية، متفرع منها الفاعل والمفعول به (أي: الأسماء) وحروف العطف. ثم تتفرع الأفعال الإضافية من الأسماء المتصلة بها. بمجرد تمثيل النص في هيكل الشجرة، تختار الخوارزمية بعد ذلك الكلمات أو العبارات الشائعة لتستخدمها الشبكة التوليدية في إنشاء ملخص جديد.12

دمج المعلومات

يمثل دمج المعلومات جانبًا رئيسيًا آخر من التلخيص التجريدي، كما أشارت إلى ذلك النظرة العامة السابقة لطريقة اختصار الجمل. يلخص الناس المستندات باستخدام عملية الربط بين المعلومات من عبارات متعددة في جملة واحدة أو عبارة واحدة.2 ومن الطرق المقترحة لمحاكاة ذلك دمج الجمل عبر مجموعة متعددة المستندات. تحدد هذه الطريقة العبارات الشائعة في مجموعة من المستندات وتدمجها باستخدام تقنية تسمى الحوسبة الشبكية لإنتاج ملخص متماسكًا لغويًا باللغة الإنجليزية.13 ومن الطرق المقترحة كذلك استخدام نماذج موضوعات عصبية لإنشاء مصطلحات رئيسية توجّه بدورها عملية إنشاء الملخص. في هذه الطريقة، تُدمج الكلمات الرئيسية الشائعة التي تغطي النقاط الرئيسية في عدة مستندات في جملة واحدة أو مجموعة من الجمل.

ترتيب المعلومات

وأخيرًا، من الأمور المهمة فيما يتعلق بتلخيص النصوص التجريدي ترتيب المعلومات. المعلومات الملخَّصة لا تتبع بالضرورة ترتيب المستند المصدر الأولي نفسه. فمثلاً، عندما يكتب الناس ملخصات، فإنهم غالبًا ما ينظمون المعلومات بشكل موضوعي. ومن الطرق المستخدمة للتنظيم الموضوعي طريقة المجموعات. إذ تُنظم الجمل المستخرجة تحديدًا في مجموعات وفقًا للمحتوى الموضوعي (كما يتم تحديده من خلال الكلمات الرئيسية التي تظهر مع بعضها). وعلى هذا المنوال، تُعد نماذج الموضوعات العصبية نهجًا محتملاً آخر لترتيب المعلومات موضوعيًا.2

مقاييس التقييم

إذ يستخدم المطورون عددًا من مقاييس التقييم لتلخيص النص. وتعتمد الاختلافات في المقاييس بشكل عام على نوع الملخص المطلوب وميزة الملخص التي يريد الشخص قياسها.

يُعد مقياس BLEU (التقييم ثنائي اللغة) أحد مقاييس التقييم ويُستخدم عادةً في الترجمة الآلية. وهو يقيس مدى التشابه بين النموذج الصحيح ومخرجات النموذج لتسلسل مكون من عدد من الكلمات، ويُعرف باسم n-grams أي سلاسل الكلمات. في حال تلخيص النصوص، يقيس BLEU مدى تشابه سلاسل الكلمات (n-grams) في الملخص التلقائي مع تلك الموجودة في ملخص من إعداد البشر، مع الأخذ في الحسبان التكرار المغلوط للكلمات في الملخص التلقائي. ثم يُستخدم درجات الدقة مع كل سلسلة من سلاسل الكلمات (n-grams) لحساب مدى دقة النص الإجمالية، والمعروفة باسم دقة المتوسط الهندسي. تتراوح هذه القيمة النهائية بين 0 و1، وإذا كانت القيمة 1، فإنها تُشير إلى التطابق التام بين ملخصات النصوص التي أنشأتها الآلة والتي أعدها البشر.15

مقياس ROUGE (تقييم التلخيصات القائم على استرداد المعلومات) هو مقياس مستمد من مقياس BLEU لتقييم مهام التلخيص تحديدًا. ومثله مثل مقياس BLEU، فإنه يقارن الملخصات التي أعدتها الآلة بتلك التي يكتبها الإنسان، وذلك باستخدام سلاسل الكلمات (n-grams). لكن بينما يقيس BLEU مدى دقة الآلة، نجد أن ROUGE يقيس مدى قدرة الآلة على استرجاع المعلومات. أو بعبارة أخرى، يحسب مقياس ROUGE مدى دقة الملخص التلقائي وفقًا لتطابق عدد سلاسل الكلمات (n-grams) الموجودة في الملخص الذي أعده الإنسان مع عدد تلك الموجودة في الملخص التلقائي. تتراوح قيمة مقياس ROUGE، مثل مقياس BLEU، بين 0 و1، وإذا كانت القيمة 1، فإنها تُشير إلى التطابق التام بين ملخصات النصوص التي أنشأتها الآلة والتي أعدها البشر.16

لاحظ أن هذه المقاييس تقوم بتقييم الناتج النهائي للنص الملخص. وهي تختلف عن طرق تقييم الجُمل العديدة المستخدمة في خوارزميات تلخيص النصوص التي تختار الجُمل والكلمات الرئيسية المناسبة لإنتاج الناتج الملخص النهائي.

حالات الاستخدام

وهناك عدد من المكتبات يتيح للمستخدمين تنفيذ أدوات تلخيص النص بسهولة في لغة Python. على سبيل المثال، تأتي مكتبة HuggingFace Transformers محمَّلة بـ BART، وهي بنية محوِّل ترميز وفك تشفير، لتوليد ملخصات نصية. توفر واجهة مهارات اللغة Language Skills API من OneAI أدوات لإنشاء ملخصات نصية بسهولة كذلك.

ويعد البحث السريع التطبيق الأكثر وضوحًا لتلخيص النصوص. وله استخدامات محتملة في مجموعة متنوعة من المجالات، كالمجال القانوني والأكاديمي والتسويقي. وأظهر الباحثون أيضًا كيف يمكن لمحوِّلات تلخيص النصوص أن تؤدي مهامًا إضافية.

الأخبار تشكل المقالات الإخبارية مجموعة بيانات مشتركة لاختبار تقنيات تلخيص النصوص ومقارنتها. لكن التلخيص ليس دائمًا هو الغاية. ناقشت مجموعة من الدراسات دور ملخصات النصوص المُعدّة من المحوِّل كطريقة لاستخراج العناصر من أجل تشغيل نماذج اكتشاف الأخبار الزائفة.17 وتُبين هذا الأبحاث إمكانات فائقة وتوضح مدى إمكانية تبني ملخصات النصوص في استخدامات أوسع من مجرد توفير الوقت المستغرق في قراءة نصوص متعددة.

الترجمة: التلخيص متعدد اللغات هو فرع من فروع تلخيص النصوص يتداخل مع الترجمة الآلية. ومما لا شك فيه أن هذا ليس مجالاً بحثيًّا واسعًا كمجال التلخيص أو الترجمة في حد ذاتهما. غير أن تلخيص نص أو مجموعة نصوص باللغة المصدر إلى لغة أخرى مستهدفة يُشكل العديد من التحديات الجديدة.18 تستكشف إحدى الدراسات المنشورة موضوع التلخيص متعدد اللغات باستخدام نصوص تاريخية. وفي هذه المهمة، تُعامل اللكنات المختلفة للغات القديمة (على سبيل المثال، اللغة الصينية القديمة واللغة الصينية الحديثة، أو اليونانية الأتيكية واليونانية الحديثة) كلغات مختلفة. وتستخدم هذه التجربة تضمين الكلمات مع طرق التلخيص الاستخراجي والتجريدي ونقل المعرفة لإنتاج ملخصات حديثة لمستندات باللغات القديمة.19

حلول ذات صلة

حلول ذات صلة

IBM watsonx Orchestrate

يمكنك بسهولة تصميم مساعدي ووكلاء الذكاء الاصطناعي القابلين للتوسع وأتمتة المهام المتكررة وتبسيط العمليات المعقدة باستخدام IBM watsonx Orchestrate.

استكشف watsonx Orchestrate
أدوات معالجة اللغة الطبيعية وواجهات برمجة التطبيقات

تسريع قيمة الأعمال باستخدام مجموعة قوية ومرنة من مكتبات وخدمات وتطبيقات الذكاء الاصطناعي.

استكشف حلول معالجة اللغة الطبيعية
الاستشارات والخدمات المتعلقة بالذكاء الاصطناعي

أعدّ ابتكار عمليات ومهام سير العمل الحساسة بإضافة الذكاء الاصطناعي لتعزيز التجارب وصنع القرارات في الوقت الفعلي والقيمة التجارية.

استكشف خدمات الذكاء الاصطناعي
اتخِذ الخطوة التالية

يمكنك بسهولة تصميم مساعدي ووكلاء الذكاء الاصطناعي القابلين للتوسع وأتمتة المهام المتكررة وتبسيط العمليات المعقدة باستخدام IBM® watsonx™ Orchestrate®.

استكشف watsonx Orchestrate استكشف حلول معالجة اللغة الطبيعية
الحواشي

1 Juan-Manuel Torres-Moreno،  التلخيص التلقائي للنصوص، Wiley، عام 2014.

2 Aggarwal، ، التعلم الآلي للنصوص، Springer. Bettina Berendt، "استخراج النصوص لتحليل الأخبار والمدونات"، موسوعة التعلم الآلي وعلوم البيانات، Springer، عام 2020.

3 Haopeng Zhang وXiao Liu وJiawei Zhang، "التلخيص الاستخراجي عبر ChatGPT لإنشاء الملخصات الموثوقة، "استنتاجات جمعية اللغويات الحاسوبية: EMNLP 2023، https://aclanthology.org/2023.findings-emnlp.214

4 Meng Cao وYue Dong وJackie Cheung، "خاطئة لكنها واقعية!! النظر في حقيقة الأخطاء في التلخيص التجريدي"، وقائع الاجتماع السنوي الستين لجمعية اللغويات الحاسوبية، عام 2022، https://aclanthology.org/2022.acl-long.236

5 Jonathan Pilault، وRaymond Li، و Sandeep Subramanian، وChris Pal، "حول التلخيص الاستخراجي والتجريدي للمستندات العصبية باستخدام نماذج المحولات اللغوية"، وقائع مؤتمر عام 2020 حول الأساليب التجريبية في معالجة اللغة الطبيعية (EMNLP)، عام 2020، https://aclanthology.org/2020.emnlp-main.748

6 Giuseppe Carenini وJackie C. K، "مقارنة بين التلخيص الاستخراجي والتلخيص التجريدي القائم على اللغة الطبيعية للنص التقييمي: تأثير الجدل حول النصوص"، وقائع المؤتمر الدولي الخامس لإنشاء اللغة الطبيعية، عام 2008، https://aclanthology.org/W08-1106

7 Ani Nenkova وKathleen McKeown، "دراسة استقصائية لتقنيات تلخيص النصوص"، بيانات استخراج النصوص، Springer، عام 2012. Wafaa S. El-Kassas وCherif R. Salama وAhmed A. Rafea وHoda K. Mohamed، "التلخيص التلقائي للنصوص: دراسة استقصائية شاملة"، مجلة  Expert Systems with Applications165، عام 2021، https://www.sciencedirect.com/science/article/abs/pii/S0957417420305030 

8 Ani Nenkova وKathleen McKeown، "دراسة استقصائية لتقنيات تلخيص النصوص"، بيانات استخراج النصوص،Springer، عام 2012. Steven Shearing، وAbigail Gertner، وBenjamin Wellner، وLiz Merkhofe، "التلخيص التلقائي للنصوص: استعراض وتوصيات"، تقرير فني، شركة MITRE، عام 2020.

9 Ani Nenkova وKathleen McKeown، "دراسة استقصائية لتقنيات تلخيص النصوص"، بيانات استخراج النصوص، Springer، عام 2012.

10 Jade Goldsteiny، وMark Kantrowitz، وVibhu Mittal، وJaime Carbonell، "تلخيص المستندات النصية: اختيار الجمل ومقاييس التقييم"، وقائع مؤتمر ACM SIGIR الدولي السنوي الثاني والعشرين حول البحث والتطوير في مجال استرجاع المعلومات، عام 1999، ص. 121-128، https://www.cs.cmu.edu/~jgc/publication/Summarizing_Text_Documents_Sentence_SIGIR_1999.pdf 

11 Som Gupta وS.K. Gupta، "التلخيص التجريدي: نظرة عامة على أحدث التقنيات"، مجلة Expert Systems With Applications، عام 2019، https://www.sciencedirect.com/science/article/abs/pii/S0957417418307735 . Wafaa S. El-Kassas، وCherif R. Salama، و Ahmed A. Rafea، وHoda K. Mohamed، "التلخيص التلقائي للنصوص: دراسة استقصائية شاملة"، مجلة Expert Systems with Applications، عام 2021، https://www.sciencedirect.com/science/article/abs/pii/S0957417420305030 . Hui Lin وVincent Ng، "التلخيص التجريدي: دراسة استقصائية لأحدث التقنيات"، وقائع مؤتمر AAAI حول الذكاء الاصطناعي، مجلد 33، العدد 1، عام 2019، ص. 9815-9822، https://ojs.aaai.org/index.php/AAAI/article/view/5056 

12 Som Gupta وS.K. Gupta، "التلخيص التجريدي: نظرة عامة على أحدث التقنيات"، مجلة Expert Systems With Applications، عام 2019، https://www.sciencedirect.com/science/article/abs/pii/S0957417418307735 . Regina Barzilay وKathleen R. McKeown، "دمج الجمل لتلخيص الأخبار متعددة المستندات"، اللغويات الحاسوبية، مجلد 31، العدد 3، عام 2005، ص. 297-328، https://aclanthology.org/J05-3002

13 Regina Barzilay وKathleen R. McKeown، "دمج الجمل لتلخيص الأخبار متعددة المستندات"، اللغويات الحاسوبية، مجلد 31، العدد 3، عام 2005، ص. 297-328، https://aclanthology.org/J05-3002

14 Peng Cui وLe Hu، "التلخيص التجريدي متعدد المستندات حسب الموضوع"، استنتاجات جمعية اللغويات الحاسوبية: EMNLP 2021، https://aclanthology.org/2021.findings-emnlp.126

15 Kishore Papineni، وSalim Roukos، وTodd Ward، و Wei-Jing Zhu، "Bleu: طريقة للتقييم التلقائي للترجمة الآلية"، وقائع الاجتماع السنوي الأربعين لجمعية اللغويات الحاسوبية، عام 2002، https://aclanthology.org/P02-1040/

16 Chin-Yew Lin، "ROUGE: حزمة التقييم التلقائي للملخصات"، فروع تلخيص النصوص، https://aclanthology.org/W04-1013

17 Soheil Esmaeilzadeh، وGao Xian Peh، وAngela Xu، "التلخيص التجريدي للنصوص العصبية وكشف الأخبار الزائفة"، عام 2019، https://arxiv.org/abs/1904.00788 . Philipp Hartl وUdo Kruschwitz، "تطبيق التلخيص التلقائي للنصوص لاكتشاف الأخبار الزائفة"، وقائع مؤتمر موارد اللغة والتقييم الثالث عشر، 2022، https://aclanthology.org/2022.lrec-1.289

18 Jiaan Wang، وFandong Meng، وDuo Zheng، وYunlong Liang، وZhixu Li، وJianfeng Qu، وJie Zhou، "دراسة استقصائية حول التلخيص متعدد اللغات"، مجلة Transactions of the Association for Computational Linguistics، مجلد 10، عام 2022، https://aclanthology.org/2022.tacl-1.75

19 Xutan Peng وYi Zheng وChenghua Lin وAdvaith Siddharthan، "تلخيص النصوص القديمة باللغات الحديثة"، وقائع مؤتمر جمعية اللغويات الحاسوبية السادس عشر الفرع الأوروبي، عام 2021، https://aclanthology.org/2021.eacl-main.273