ما المقصود بالإفراط في التخصيص؟

يتعارض الإفراط في التخصيص مع الغرض من نموذج التعلم الآلي. فتعميم النموذج على البيانات الجديدة هو ما يسمح لنا في نهاية المطاف باستخدام خوارزميات التعلم الآلي كل يوم لوضع تنبؤات وتصنيف البيانات.

عند إنشاء خوارزميات التعلم الآلي، فإنها تستفيد من مجموعة بيانات عينة لتدريب النموذج. ومع ذلك، عندما يتدرب النموذج لفترة طويلة جدًا على بيانات العينة أو عندما يكون النموذج معقدًا جدًا، يمكن أن يبدأ في تعلم "الضوضاء" أو المعلومات غير ذات الصلة ضمن مجموعة البيانات. عندما يحفظ النموذج الضوضاء ويتخصص بشكل كبير مع مجموعة التدريب، يصبح النموذج "مفرط التخصيص"، ولا يمكنه التعميم بشكل جيد على البيانات الجديدة. وإذا لم يتمكن النموذج من التعميم بشكل جيد على البيانات الجديدة، فلن يكون قادرًا على أداء مهام التصنيف أو التنبؤ التي صُمم من أجلها.

تُعد معدلات الخطأ المنخفضة والتباين العالي مؤشرات واضحة على الإفراط في التخصيص. ومن أجل منع هذا النوع من السلوك، عادةً ما يُنحّى جزء من مجموعة بيانات التدريب جانبًا باعتباره "مجموعة اختبار" للتحقق من عدم وجود إفراط في التخصيص. إذا كانت بيانات التدريب ذات معدل خطأ منخفض وبيانات الاختبار ذات معدل خطأ مرتفع، فهذا يشير إلى الإفراط في التخصيص.

إذا أدى الإفراط في التدريب أو تعقيد النموذج إلى الإفراط في التخصيص، فإن الاستجابة الوقائية المنطقية ستكون إما إيقاف عملية التدريب مؤقتًا في وقت مبكر، والمعروف أيضًا باسم "التوقف المبكر"، أو تقليل التعقيد في النموذج عن طريق استبعاد المدخلات الأقل أهمية. ومع ذلك، إذا توقفت مؤقتًا في وقت مبكر جدًا أو استبعدت الكثير من الميزات المهمة، فقد تواجه المشكلة المعاكسة، وبدلاً من ذلك، قد تواجه مشكلة قصور تخصيص النموذج الخاص بك. يحدث القصور في التخصيص عندما لا يكون النموذج قد تدرب لفترة كافية أو عندما لا تكون متغيرات المدخلات مهمة بما يكفي لتحديد علاقة ذات مغزى بين متغيرات المدخلات والمخرجات.

في كلتا الحالتين، لا يستطيع النموذج تحديد الاتجاه السائد في مجموعة بيانات التدريب. ونتيجة لذلك، فإن القصور في التخصيص يعمم أيضًا بشكل سيء على البيانات غير المرئية. ولكن على عكس الإفراط في التخصيص، تشهد النماذج قاصرة التخصيص من تحيز مرتفع وتباين أقل في تنبؤاتها. يوضح هذا المفاضلة بين التحيز والتباين التي تحدث عندما يتحول النموذج قاصر التخصيص إلى حالة فرط التخصيص. كلما تعلم النموذج، قلت تحيزاته، لكن يمكن أن يزداد التباين عندما يصبح النموذج مفرط التخصيص. عند تخصيص النموذج، يكون الهدف هو العثور على "التوازن المثالي" بين القصور في التخصيص والإفراط في التخصيص، بحيث يمكن أن يضع النموذج اتجاهًا سائدًا ويطبقه على نطاق واسع على مجموعات البيانات الجديدة.

لفهم دقة نماذج التعلم الآلي، من المهم اختبار مدى تخصيص النموذج. يُعد التحقق التبادلي K-fold أحد أكثر الأساليب شيوعًا لتقييم دقة النموذج.

في التحقق التبادلي K-fold، تُقسم البيانات إلى مجموعات فرعية k متساوية الحجم تسمى أيضًا "الطيات". ستكون إحدى الطيات k بمثابة مجموعة اختبار، والمعروفة أيضًا باسم مجموعة الاحتفاظ أو مجموعة التحقق من الصحة، وستدرب الطيات المتبقية النموذج. تتكرر هذه العملية حتى تُستخدم كل طية من الطيات كطية احتفاظ. وبعد كل تقييم، يُحتفظ بالدرجات، وعندما تكتمل كل التكرارات، يُحسب متوسط الدرجات لتقييم أداء النموذج الكلي.

بينما يساعدنا استخدام نموذج خطي على تجنب الإفراط في التخصيص، فإن العديد من المشكلات الواقعية هي مشكلات غير خطية. وبالإضافة إلى فهم كيفية اكتشاف الإفراط في التخصيص، من المهم فهم كيفية تجنب الإفراط في التخصيص من الأساس. فيما يلي عدد من الأساليب التي يمكنك استخدامها لمنع الإفراط في التخصيص:

• التوقف المبكر: كما ذكرنا سابقًا، تسعى هذه الطريقة إلى إيقاف التدريب مؤقتًا قبل أن يبدأ النموذج في تعلم الضوضاء داخل النموذج. يخاطر هذا النهج بإيقاف عملية التدريب في وقت مبكر جدًا، ما يؤدي إلى مشكلة عكسية تتمثل في القصور في التخصيص. والهدف النهائي هنا هو العثور على "التوازن المثالي" بين القصور في التخصيص والإفراط في التخصيص.
• التدريب باستخدام المزيد من البيانات: يمكن أن يؤدي توسيع مجموعة التدريب لتشمل المزيد من البيانات إلى زيادة دقة النموذج من خلال توفير المزيد من الفرص لتحليل العلاقة السائدة بين متغيرات المدخلات والمخرجات. ومع ذلك، فإن هذه الطريقة تكون أكثر فعالية عند إدخال بيانات سليمة وذات صلة في النموذج. وإلا فإنك قد تستمر في إضافة المزيد من التعقيد إلى النموذج، ما يؤدي إلى الإفراط في التخصيص.
• تعزيز البيانات: في حين أنه من الأفضل إدخال بيانات سليمة وذات صلة في بيانات التدريب الخاصة بك، فإنه في بعض الأحيان تُضاف بيانات مشوشة لجعل النموذج أكثر استقرارًا. ومع ذلك، يجب استخدام هذه الطريقة بحذر.
• اختيار الميزات: عند إنشاء نموذج، سيكون لديك عدد من المعلمات أو الميزات التي تُستخدم للتنبؤ بنتيجة معينة، ولكن في كثير من الأحيان، قد تكون هذه الميزات مكررة. اختيار الميزات هو عملية تحديد أهم الميزات في بيانات التدريب ثم التخلص من الميزات غير ذات الصلة أو الزائدة عن الحاجة. عادةً ما يُخلط بين هذا المفهوم وتقليل الأبعاد، إلا أنهما مختلفان. ومع ذلك، تساعد كلتا الطريقتين على تبسيط نموذجك لتحديد الاتجاه السائد في البيانات.
• التنظيم: إذا حدث الإفراط في التخصيص عندما يكون النموذج معقدًا للغاية، فمن المنطقي بالنسبة إلينا تقليل عدد الميزات. ولكن ماذا لو لم نكن نعرف المدخلات التي يجب إزالتها في أثناء عملية اختيار الميزات؟ إذا كنا لا نعرف أي الميزات يجب إزالتها من نموذجنا، فقد تكون طرق التنظيم مفيدة بشكل خاص. يطبّق التنظيم "عقوبة" على معاملات المدخلات ذات القيم الأكبر، ما يحدّ لاحقًا من مقدار التباين في النموذج. وفي حين أن هناك عددًا من طرق التنظيم، مثل تنظيم لاسو وانحدار ريدج والإسقاط، فإنها تسعى كلها إلى تحديد الضوضاء وتقليلها داخل البيانات.
• طرق التجميع: تتكون طرق التعلم التجميعي من مجموعة من المصنفات - على سبيل المثال مخططات تسلسل القرارات والتي يتم تجميع توقعاتها لتحديد النتائج الأكثر شيوعًا. أكثر طرق التجميع شهرة هي التعبئة والتعزيز. في التعبئة، يتم تحديد عينة عشوائية من البيانات في مجموعة تدريب مع الاستبدال- ما يعني أنه يمكن اختيار نقاط البيانات الفردية أكثر من مرة. ثم بعد إنشاء العديد من عينات البيانات، يتم تدريب هذه النماذج بشكل مستقل، اعتمادًا على نوع المهمة، مثل الانحدار أو التصنيف، ثم ينتج عن متوسط تلك التوقعات أو معظمها تقديرٌ أكثر دقة. يُستخدم هذا عادةً لتقليل التباين ضمن مجموعة بيانات مليئة بالضوضاء.

في حين أن ما ورد أعلاه هو التعريف المتعارف عليه للإفراط في التخصيص، فإن الأبحاث الحديثة (يؤدي الرابط إلى موقع خارج IBM) تشير إلى أن النماذج المعقدة، مثل نماذج التعلم العميق والشبكات العصبية، تحقق دقة عالية على الرغم من تدريبها على "التخصيص أو الاستيفاء التام". تتعارض هذه النتيجة بشكل مباشر مع المؤلفات التاريخية حول هذا الموضوع، وهي تتضح من خلال منحنى مخاطر "الانحدار المزدوج" أدناه. يمكنك ملاحظة أنه عندما يتعلم النموذج ما بعد حد الاستيفاء، يتحسن أداء النموذج. ويمكن للطرق التي ذكرناها سابقًا لتجنب الإفراط في التخصيص، مثل التوقف المبكر والتنظيم، أن تمنع الاستيفاء.