وفقًا لاستطلاع أجري في عام 2019، تعتمد حوالي 64% من الشركات على البيانات المنظمة من الموارد الداخلية، ولكن أقل من 18% منها تستفيد من البيانات غير المنظمة وتعليقات وسائل التواصل الاجتماعي لإبلاغ قرارات الأعمال¹.

تعتمد المؤسسات التي تستخدم NER لاستخراج البيانات غير المهيكلة على مجموعة من النُهج، ولكن معظمها يقع في ثلاث فئات عريضة: النُهج القائمة على القواعد، ونُهج التعلم الآلي، والنُهج الهجينة.

• تتضمن النُهج القائمة على القواعد إنشاء مجموعة من القواعد لقواعد اللغة. ثم يتم استخدام القواعد لتحديد الكيانات في النص بناء على ميزاتها الهيكلية والنحوية. قد تستغرق هذه الطرق وقتًا طويلاً وقد لا تعمم بشكل جيد على البيانات غير المرئية.

• تتضمن نُهج التعلم الآلي تدريب نموذج التعلم الآلي القائم على الذكاء الاصطناعي على مجموعة بيانات مصنفة باستخدام خوارزميات مثل الحقول العشوائية الشرطية والحد الأقصى للإنتروبيا (نوعان من نماذج اللغة الإحصائية المعقدة). ويمكن أن تتراوح التقنيات من طرق التعلم الآلي التقليدية (على سبيل المثال شبكات القرارات وآلات ناقلات الدعم) إلى نُهج التعلم العميق الأكثر تعقيدًا، مثل الشبكات العصبية المتكررة (RNNs) والمحولات. تعمم هذه الطرق بشكل أفضل على البيانات غير المرئية، لكنها تتطلب كمية هائلة من بيانات التدريب المصنفة ويمكن أن تكون مكلفة حسابيًا.

• تجمع النُهج الهجينة بين الأساليب القائمة على القواعد وأساليب التعلّم الآلي للاستفادة من نقاط القوة في كليهما. حيث يمكنها استخدام نظام قائم على القواعد لتحديد الكيانات التي يسهل التعرف عليها بسرعة ونظام التعلم الآلي لتحديد الكيانات الأكثر تعقيدًا.

منذ إنشاء NER، كانت هناك بعض التطورات المنهجية المهمة، خاصة تلك التي تعتمد على التقنيات القائمة على التعلم العميق. تتضمن التكرارات الأحدث ما يلي:

• الشبكات العصبية المتكررة (RNNs) والذاكرة القصيرة المدى المطولة (LSTM). الشبكات العصبية المتكررة (RNNs) هي نوع من الشبكات العصبية المصممة لحل مشاكل التنبؤ بالتسلسل. يمكن للذاكرة القصيرة المدى المطولة (LSTM)، وهي نوع خاص من الشبكات العصبية المتكررة (RNNs)، تعلم التعرف على الأنماط بمرور الوقت والحفاظ على المعلومات في "الذاكرة" عبر تسلسلات طويلة، ما يجعلها مفيدة بشكل خاص لفهم السياق وتحديد الكيانات.

• الحقول العشوائية المشروطة (CRFs). غالبًا ما تُستخدم الحقول العشوائية المشروطة (CRFs) جنبًا إلى جنب مع الذاكرة القصيرة المدى المطولة (LSTM) لمهام NER. حيث يمكنها نمذجة الاحتمال الشرطي لسلسلة كاملة من التسميات، بدلاً من مجرد تسميات فردية، ما يجعلها مفيدة للمهام التي تعتمد فيها تسمية الكلمة على تسميات الكلمات المحيطة.

• المحولات وتمثيلات التشفير ثنائية الاتجاه من المحولات (BERT). كان لشبكات المحولات، لا سيما نماذج تمثيلات التشفير ثنائية الاتجاه من المحولات (BERT)، تأثير كبير في NER. فباستخدام آلية الانتباه الذاتي التي تزن أهمية الكلمات المختلفة، تأخذ تمثيلات التشفير ثنائية الاتجاه من المحولات (BERT) في الحسبان السياق الكامل للكلمة من خلال النظر إلى الكلمات التي تأتي قبلها وبعدها.

لقد قطعت نماذج NER شوطًا طويلاً منذ إنشائها، حيث دمجت التقنيات المبتكرة وتوسعت بغزارة في فائدتها على طول الطريق. ومع ذلك، هناك بعض التحديات الجديرة بالملاحظة التي يجب مراعاتها عند تقييم تقنيات NER.  

على الرغم من أن نماذج NER قد أحرزت الكثير من التقدم للغات مثل الإنجليزية، فهي لا تتمتع بمستوى الدقة نفسه للعديد من اللغات الأخرى. وغالبًا ما يكون هذا بسبب نقص البيانات المصنفة بهذه اللغات. تُعد نماذج NER عبر اللغات، والتي تتضمن نقل المعرفة من لغة إلى أخرى، مجالاً نشطًا للبحث قد يساعد في سد الفجوة اللغوية في NET.

في بعض الأحيان، يمكن أيضًا أن تتداخل الكيانات داخل كيانات أخرى، وقد يكون التعرف على هذه الكيانات المتداخلة أمرًا صعبًا. على سبيل المثال، في الجملة "تم تأسيس جامعة ولاية بنسلفانيا، حديقة الجامعة، في عام 1855"، نجد أن كلاً من "جامعة ولاية بنسلفانيا" و"جامعة ولاية بنسلفانيا، حديقة الجامعة" كيانان صالحان. 

علاوة على ذلك، في حين أن نماذج NER العامة يمكن أن تحدد كيانات مشتركة مثل الأسماء والمواقع، إلا أنها قد تواجه صعوبات مع كيانات خاصة بمجال معين. على سبيل المثال، في المجال الطبي، قد يكون تحديد مصطلحات معقدة مثل أسماء الأمراض أو أسماء الأدوية أمرًا صعبًا. ومن ثَمَّ يمكن تدريب نماذج NER الخاصة بمجال معين على بيانات متخصصة خاصة بالمجال، ولكن الحصول على تلك المعلومات يمكن أن يكون في حد ذاته أمرًا صعبًا.

قد تواجه نماذج NER أيضًا مشكلات أوسع نطاقًا تتعلق بالغموض (على سبيل المثال، قد يشير "Apple" إلى فاكهة أو شركة تكنولوجيا)؛ وتنوع اسم الكيان (على سبيل المثال، "USA" و"USA" و"United States" و"United States of America" تشير جميعها إلى البلد نفسه)؛ والمعلومات السياقية المحدودة (حيث لا تحتوي النصوص و/أو الجمل على سياق كافٍ لتحديد الكيانات وتصنيفها بدقة).

على الرغم من أن نماذج NER لها تحدياتها، إلا أن التطورات المستمرة تعمل باستمرار على تحسين دقتها وقابليتها للتطبيق، ومن ثَمَّ تساعد على تقليل تأثير الفجوات التكنولوجية الحالية.

على الرغم من أن نماذج NER هي مجال راسخ، إلا أنه لا يزال هناك الكثير من العمل الذي يتعين القيام به. 

بإلقاء نظرة على المستقبل، فإن أحد المجالات الواعدة هو تقنيات التعلم غير الخاضعة للإشراف لنماذج NER. ففي حين أن تقنيات التعلم الخاضعة للإشراف قد حققت أداءً جيدًا، إلا أنها تتطلب الكثير من البيانات المصنفة، والتي قد يكون من الصعب الحصول عليها. لا تتطلب تقنيات التعلم غير الخاضعة للإشراف بيانات مصنفة ويمكن أن تساعد المؤسسات في التغلب على تحديات توفر البيانات.

ومن الاتجاهات الأخرى المثيرة للاهتمام تكامل طريقة الإنصاف اللغوي العصبي مع مهام البرمجة اللغوية العصبية الأخرى. على سبيل المثال، يمكن أن تسمح نماذج NER المشتركة وربط الكيانات (التي تتضمن ربط الكيانات بمدخلاتها المقابلة في قاعدة معارف) أو NER وحل المرجع المشترك (الذي يتضمن تحديد متى يشير تعبيران أو أكثر في النص إلى الكيان نفسه) بأنظمة تفهم النص وتعالجه بشكل أفضل.

كما أن التعلم بلقطات قليلة والتعلم متعدد النماذج يعمل على توسيع قدرات تقنيات NER. ومن خلال التعلم قليل اللقطات، يتم تدريب النماذج على أداء المهام مع أمثلة قليلة فقط، والتي يمكن أن تكون مفيدة بشكل خاص عندما تكون البيانات المصنفة نادرة. ومن ناحية أخرى، يتضمن NER متعدد النماذج دمج النص مع أنواع الكيانات الأخرى. على سبيل المثال، يمكن لصورة أو جزء من الصوت توفير سياق إضافي يساعد في التعرف على الكيانات.