ما هي دالة الخسارة؟

تعتبر دوال الخسارة خاصة بالتعلم الخاضع للإشراف، حيث تفترض مهام التدريب الخاصة بها وجود إجابة صحيحة: الحقيقة الأساسية. لا تتضمن خوارزميات التعلم التقليدية غير الخاضعة للإشراف، مثل التجميع أو الارتباط، إجابات "صحيحة" أو "خاطئة"، لأنها تسعى فقط إلى اكتشاف الأنماط الجوهرية في البيانات غير المصنفة.

يتطلب التعلم الخاضع للإشراف مجموعات بيانات مصنفة، حيث توفر التعليقات التوضيحية اليدوية بيانات ميدانية فعلية لكل عينة تدريب. على سبيل المثال، تحتاج نماذج تقسيم الصور إلى عينات تدريبية مع توضيح كل بكسل وفقًا لفئته الصحيحة. في التعلم الخاضع للإشراف الذاتي الذي يُخفي أو يُحوِّل أجزاءً من عينات البيانات غير المصنفة ويُكلِّف النماذج ببناء تلك الأجزاء المفقودة، تعتبر العينة الأصلية نفسها بمثابة الحقيقة الأساسية.

دوال الخسارة ليست مجرد مقاييس للتقييم. والغرض الصريح منها ليس فقط قياس نجاح النموذج، ولكن أيضًا بمثابة مدخلات لخوارزمية تعمل على تحسين معلمات النموذج لتقليل الخسارة.

تستخدم خوارزميات التحسين مثل النزول الاشتقاقي عادةً تدرج دالة الخسارة. التدرج هو مشتق دالة ذات متغيرات متعددة. في الأساس، يصف المشتق بشكل أساسي معدل ومقدار تغير القيمة المخرجة للدالة عند أي نقطة. لذلك، من المهم أن تكون دوال الخسارة قابلة للاشتقاق: بعبارة أخرى، أن يكون لها مشتق عند جميع النقاط.

تتعلم نماذج التعلم الآلي كيفية إجراء تنبؤات دقيقة من خلال التعديلات على معلمات نماذج معينة. على سبيل المثال، تقوم خوارزمية الانحدار الخطي البسيط بإنشاء نماذج للبيانات باستخدام الدالة y = wx+b, where y is the model output, x is the input, w is a weight and b is bias. يتعلّم النموذج من خلال تحديث مصطلحات weight و bias حتى يتم تقليل دالة الخسارة بشكل كافٍ. 

وباستخدام تدرج دالة الخسارة، تحدد خوارزميات التحسين الاتجاه الذي "تخطو" فيه معلمات النموذج من أجل التحرك نزولاً بالتدرج وبالتالي تقليل الخسارة.

تستخدم نماذج التعلم العميق شبكات عصبية اصطناعية كبيرة، تتألف من طبقات من الخلايا العصبية المترابطة، ولكل منها دالة تنشيط غير خطية خاصة بها، بدلاً من الاعتماد على دالة مفردة. يتطلب اشتقاق الشبكة بأكملها حساب المشتقات الجزئية لمئات أو آلاف أو حتى ملايين المتغيرات المنفصلة ودوال التنشيط بالنسبة للمتغيرات الأخرى.

 للقيام بذلك، تستخدم الشبكات العصبية الانتشار العكسي للعثور على تدرج دالة الخسارة بعد تمريرة أمامية تنتهي بالتنبؤ على نقطة بيانات من مجموعة بيانات التدريب. اختصارًا الانتشار العكسي للخطأ، يبدأ الانتشار العكسي بمخرجات دالة الخسارة. في تمرير عكسي عبر الشبكة من طبقة المخرجات إلى طبقة المدخلات، يستخدم الانتشار العكسي قاعدة السلسلة لحساب كيفية مساهمة كل وزن وتحيز فردي في الشبكة في الخسارة الكلية. 

يمكن بعد ذلك استخدام التدرج الناتج للمشتقات الجزئية للشبكة بأكملها بواسطة خوارزميات النزول الاشتقاقي لتحديث أوزان الشبكة بشكل متكرر حتى يتم تقليل الخسارة بشكل كافٍ.

على الرغم من أن النماذج يتم تدريبها والتحقق من صحتها من خلال إجراء تنبؤات على مجموعة بيانات التدريب، إلا أن الأداء الجيد في أمثلة التدريب ليس هو الهدف النهائي. الهدف الحقيقي من التعلم الآلي هو تدريب النماذج التي تعمم بشكل جيد على الأمثلة الجديدة.

يُطلق على الاعتماد فقط على تقليل دالة خسارة مفردة "تقليل المخاطر التجريبية". ورغم أن هذا يبدو جذابًا وبسيطًا، إلا أنه ينطوي على خطر الإفراط في ملاءمة النموذج لبيانات التدريب وبالتالي التعميم بشكل سيئ. لتقليل هذا الخطر، من بين أغراض أخرى، تقدم العديد من الخوارزميات والبنى شروط التنظيم التي تعدل دالة الخسارة الأساسية.

على سبيل المثال، يمكن استخدام متوسط الخطأ المطلق (MAE) - والذي يُطلق عليه في هذا السياق اسم تنظيم L1 - لفرض التباعد عن طريق معاقبة عدد الخلايا العصبية المُنشَّطة في الشبكة العصبية أو تعظيم تنشيطها.

دالة خسارة متوسط الخطأ التربيعي، وتسمى أيضًا خسارة L2 أو الخسارة التربيعية، هي بشكل عام الإعداد الافتراضي لمعظم خوارزميات الانحدار. كما يوحي اسمها، يتم حساب متوسط الخطأ التربيعي كمتوسط الفروق التربيعية بين القيمة المتوقعة والقيمة الحقيقية عبر جميع أمثلة التدريب. تتم كتابة صيغة حساب متوسط الخطأ التربيعي عبر نقاط البيانات n على النحو التالي $\frac{\mathrm{ 1n\sum i=1n(yi-yi^)2}}{}$، حيث y هي القيمة الحقيقية و ŷ هي القيمة المتوقعة.

تربيع الخطأ يعني أن القيمة الناتجة تكون دائما موجبة: على هذا النحو، تقوم MSE بتقييم مقدار الخطأ فقط وليس اتجاهه. كما أن تربيع الخطأ يعطي الأخطاء الكبيرة تأثيرًا كبيرًا بشكل غير متناسب على الخسارة الإجمالية، مما يعاقب بشدة على القيم الخارجية ويحفز النموذج على تقليلها. وبالتالي يكون متوسط الخطأ التربيعي مناسبًا عندما يُفترض أن المخرجات المستهدفة لها توزيع طبيعي (غاوسية).

يكون متوسط الخطأ التربيعي دائمًا قابلاً للاشتقاق، مما يجعله عمليًا لتحسين نماذج الانحدار من خلال النزول الاشتقاقي.
 

متوسط مربع الخطأ الخوارزمي (MSLE)
بالنسبة إلى مشاكل الانحدار حيث يكون للإخراجات المستهدفة مجموعة واسعة للغاية من القيم المحتملة، مثل القيم التي تنطوي على نمو أسّي، فقد تؤدي المعاقبة الشديدة على الأخطاء الكبيرة إلى نتائج عكسية. يعوض متوسط مربع الخطأ الخوارزمي عن هذه المشكلة من خلال حساب متوسط مربعات اللوغاريتم الطبيعي للاختلافات بين القيم المتوقعة والمتوسطة. ومع ذلك، تجدر الإشارة إلى أن متوسط مربع الخطأ اللوغاريتمي يخصص عقوبة أكبر للتوقعات المنخفضة للغاية مقارنةً بالتوقعات المرتفعة للغاية.

تتم كتابة صيغة MSLE على النحو التالي $\frac{\mathrm{1n\sum i=1n(loge(1+yi)-loge(1+yi^))2}}{}$

جذر متوسط الخطأ التربيعي (RMSE)
جذر متوسط الخطأ التربيعي هو الجذر التربيعي لـ MSE، مما يجعله مرتبطا ارتباطا وثيقا بصيغة الانحرافات المعيارية. على وجه التحديد، يتم حساب RMSE على النحو التالي  $\sqrt{\frac{\sum _{\mathrm{ \; i }=1}^N(Y_i-\stackrel{}{{\mathrm{Y\; i)}}_{}}{2}^{}}{N}}$ .

وبالتالي فإن RMSE تعكس إلى حد كبير صفات MSE من حيث الحساسية للقيم الخارجية ولكنها أسهل في التفسير لأنها تعبر عن الخسارة بنفس وحدات قيمة المخرجات نفسها. ويخفف من هذه الميزة إلى حد ما حقيقة أن حساب RSME يتطلب خطوة أخرى مقارنة بحساب MSE، مما يزيد من تكاليف الحساب.

متوسط الخطأ المطلق أو خسارة L1، يقيس متوسط الفرق المطلق بين القيمة المتوقعة والقيمة الفعلية. مثل متوسط الخطأ التربيعي، يكون متوسط الخطأ المطلق دائمًا إيجابيًا ولا يميز بين التقديرات العالية جدًا أو المنخفضة جدًا. يتم حسابه على أنه مجموع القيمة المطلقة لجميع الأخطاء مقسومًا على حجم العينة:  $\frac{1}{N}\sum _{i=1}^N|Y_i-\widehat{Y_i}|$

نظرًا لأنه لا يقوم بتربيع كل قيمة خسارة، فإن المتوسط الخطأ المطلق أكثر قوة في مواجهة القيم الخارجية من متوسط الخطأ التربيعي. وبالتالي يكون متوسط الخطأ المطلق مثاليًا عندما تحتوي البيانات على بعض القيم الخارجية التي لا ينبغي أن تؤثر بشكل مفرط على النموذج. تؤدي خسارة L1 أيضًا إلى معاقبة الأخطاء الصغيرة أكثر من خسارة L2.

دالة خسارة متوسط الخطأ المطلق (MAE) غير قابلة للاشتقاق في الحالات التي يتطابق فيها المخرجات المتوقعة مع الناتج الفعلي. لذلك، يتطلب متوسط الخطأ المطلق المزيد من خطوات الحل البديل أثناء التحسين.

تهدف خسارة Huber، وتسمى أيضًا خسارة L1 السلسة، إلى تحقيق التوازن بين نقاط قوة كل من متوسط الخطأ المطلق (MAE) ومتوسط الخطأ التربيعي (MSE). إنه يتضمن معاملًا فائقًا قابلًا للتعديل، δ، والذي يعمل كنقطة انتقال: بالنسبة لقيم الخسارة الأقل من أو تساوي δ، تكون خسارة Huber تربيعية (مثل MSE)؛ بالنسبة لقيم الخسارة الأكبر من δ، تكون خسارة Huber خطية (مثل MAE).

 $L_{\delta }=\{<!--\; -->\begin{array}{cc}\frac{1}{2}(Y-\hat{Y}{)}^2& \mathrm{if}\left|(Y-\hat{Y})\right|<\delta \\ \delta (\left|(Y-\hat{Y})\right|-\frac{1}{2}\delta )& o\mathrm{therwise}\end{array}$

وبالتالي، توفر خسارة Huber دالة قابلة للاشتقاق بالكامل مع متانة متوسط الخطأ المطلق في التعامل مع القيم الخارجية وسهولة تحسين متوسط الخطأ التربيعي من خلال النزول الاشتقاقي. يؤدي الانتقال من السلوك التربيعي إلى السلوك الخطي عند δ أيضًا إلى تحسين أقل عرضة لمشاكل مثل التلاشي أو التدرجات المتفجرة عند مقارنته بخسارة متوسط الخطأ التربيعي.

ويخفف من هذه الميزات الحاجة إلى تحديد δ بعناية، مما يزيد من تعقيد عملية تطوير النموذج. تكون خسارة Huber أكثر ملاءمة عندما لا يمكن أن يسفر أي من متوسط الخطأ التربيعي أو متوسط الخطأ المطلق عن نتائج مرضية، مثل عندما يجب أن يكون النموذج قويًا في مواجهة القيم الخارجية ولكن مع ذلك يعاقب بشدة القيم القصوى التي تتجاوز حد معين.

يمكن التعامل مع مشكلات التصنيف متعدد الفئات بطريقتين. تتمثل إحدى الطرق في حساب الاحتمال النسبي لنقطة بيانات تنتمي إلى كل فئة محتملة، ثم تحديد الفئة التي تم تعيين أعلى احتمال لها. يتم استخدام هذا النهج عادةً بواسطة الشبكات العصبية باستخدام دالة التنشيط softmax للخلايا العصبية في طبقة المخرجات. يتمثل النهج البديل في تقسيم المشكلة إلى سلسلة من مشكلات التصنيف الثنائي.

في معظم الحالات، يتم حساب خسارة التصنيف من حيث الأنتروبيا. الأنتروبيا، بلغة بسيطة، هي مقياس لعدم اليقين داخل النظام. ولمثال بديهي، قارن بين رمي العملات المعدنية ورمي النرد: الأولى لها أنتروبيا أقل، حيث أن النتائج المحتملة في رمي العملة المعدنية (2) أقل من رمي النرد (6).

في التعلم الخاضع للإشراف، تتم مقارنة تنبؤات النماذج بتصنيفات الحقائق الأساسية التي توفرها تسميات البيانات. تسميات الحقائق الأساسية هذه مؤكدة، ومن ثَمَّ يكون لها قصور منخفض أو معدوم. وعلى هذا النحو، يمكننا قياس حجم الخسارة من حيث الاختلاف في اليقين الذي سنحصل عليه باستخدام تسميات الحقائق الأساسية مقارنة بيقين التسميات التي يتنبأ بها النموذج.

تُشتق معادلة خسارة الأنتروبيا المتقاطعة (CEL) من مقياس تباعد كولباك - ليبلير (KL divergence)، والذي يقيس الفرق بين توزيعين احتماليين. في نهاية المطاف، يستلزم تقليل الخسارة إلى الحد الأدنى تقليل الفرق بين التوزيع الحقيقي الأساسي للاحتمالات المعينة لكل تسمية محتملة والاحتمالات النسبية لكل تسمية متوقعة بواسطة النموذج.

الإنتروبيا المتقاطعة الثنائية (خسارة السجل)
تُستخدم خسارة الإنتروبيا المتقاطعة الثنائية، التي تسمى أيضًا خسارة السجل، للتصنيف الثنائي. عادةً ما تُنتج خوارزميات التصنيف الثنائي قيمة احتمالية بين 0 و1. على سبيل المثال، في نموذج كشف البريد الإلكتروني العشوائي، قد يتم تصنيف إدخالات البريد الإلكتروني التي تؤدي إلى إخراجات أقرب إلى 1 على أنها "بريد عشوائي". ويتم تصنيف الإدخالات التي تُنتج إخراجات أقرب إلى 0 على أنها "ليست بريدًا عشوائيًا". يشير الإخراج 0,5 إلى أقصى قدر من الشكوك أو الإنتروبيا.

على الرغم من أن الخوارزمية ستُنتج قيمًا بين 0 و1، فإن قيم الحقائق الأساسية للتنبؤات الصحيحة هي "0" أو "1" بالضبط. ومن ثَمَّ فإن تقليل خسارة القصور التبادلي الثنائي لا يستلزم فقط المعاقبة بسبب التنبؤات غير الصحيحة ولكن أيضًا المعاقبة بسبب التنبؤات ذات اليقين المنخفض. هذا يحفز النموذج على تعلم المعلمات التي تسفر عن تنبؤات ليست صحيحة فحسب، بل جديرة بالثقة أيضًا. علاوة على ذلك، فإن التركيز على لوغاريتمات قيم الاحتمالية المتوقعة يؤدي إلى المعاقبة بشكل أكبر بخصوص الخوارزميات بسبب التنبؤات التي يثبت خطأها.

للحفاظ على العرف الشائع بأن قيم الخسارة الأقل تعني خطأ أقل، يتم ضرب الناتج في -1. وهكذا يتم حساب خسارة اللوغاريتم لمثال واحد i على النحو التالي $–(Y_{\mathrm{iر}}·\; LOG(P\left(Y_{\mathrm{iر}}\right))+(1-Y_i)·\; LOG(1-P\left(Y_i\right)\left)\right)$ , where y_i is the true likelihood—either 0 or 1—and p(y_i) is the predicted likelihood. وبالتالي يتم حساب متوسط الخسارة عبر مجموعة كاملة من الأمثلة التدريبية n على النحو التالي  $–\frac{1}{N}\sum _{i=1}^N{Y}_i·LoG\left(P\right(Y_i)+(1-Y_{}i·LoG(1-P(Y_{\mathrm{ i}}\left)\right)$ .

خسارة الإنتروبيا المتقاطعة التصنيفية
تطبق خسارة الإنتروبيا المتقاطعة التصنيفية (CCEL) نفس المبدأ على التصنيف متعدد الفئات. عادةً ما يقوم نموذج التصنيف متعدد الفئات بإخراج قيمة لكل فئة محتملة، تمثل احتمال انتماء المدخلات إلى كل فئة معنية. وبعبارة أخرى، فإنها تنتج التنبؤات كتوزيع احتمالي.

في التعلم العميق، عادةً ما تستخدم مصنِّفات الشبكة العصبية دالة تنشيط softmax للخلايا العصبية في طبقة الإخراج. يتم تعيين قيمة كل خلية عصبية ناتجة إلى رقم بين 0 و1، ويصل مجموع القيم معًا إلى 1.

على سبيل المثال، في نقطة بيانات تحتوي على فئة محتملة واحدة فقط، فإن قيم الحقيقة الأساسية لكل تنبؤ تتكون من "1" للفئة الصحيحة و"0" لكل فئة غير صحيحة. يستلزم تقليل CCEL زيادة قيمة المخرجات للفئة الصحيحة وتقليل قيم المخرجات للفئات غير الصحيحة، وبالتالي تقريب توزيع الاحتمالات من الحقيقة الأساسية. بالنسبة لكل مثال، يجب حساب خسارة اللوغاريتم لكل تصنيف محتمل يتنبأ به النموذج.

خسارة المفصلة هي دالة خسارة بديلة لمشاكل التصنيف الثنائي، وهي مناسبة بشكل خاص لتحسين نماذج آلة دعم المتجه (SVM) . على وجه التحديد، إنها دالة خسارة فعالة لتحسين حدود القرار التي تفصل بين فئتين: يمكن بعد ذلك تصنيف النقاط وفقًا للجانب الذي تقع عليه من حدود القرار.

في الخوارزميات التي تستخدم دالة فقد الهينج (hinge loss)، يتم تعيين القيمة الحقيقية لكل تصنيف ثنائي إلى {-1, 1} بدلاً من {0,1}. يتم تعريف دالة فقد الهينج ℓ كالتالي ℓ(𝑦)=max(0,1−𝑡⋅𝑦)، حيث 𝑡 هو التصنيف الحقيقي و 𝑦 هو ناتج المصنِّف. نتيجة هذه المعادلة دائمًا غير سالبة: إذا كانت 1−𝑡⋅𝑦 سالبة - وهو ما يحدث فقط عندما تكون t و y لهما نفس الإشارة لأن النموذج تنبأ بالفئة الصحيحة - فإن الفقد يُعرف حينها على أنه 0.

هذا يوفر إمكانيات وحوافز مختلفة:

• عندما تكون تنبؤات النموذج صحيحة وواثقة - أي عندما تكون y هي الإشارة الصحيحة و|y| ≥ 1 - فإن قيمة 1–t⋅𝑦 ستكون سالبة وبالتالي ℓ = 0.
   

• عندما تكون تنبؤات النموذج صحيحة، ولكنها ليست واثقة- أي عندما تكون y هي الإشارة الصحيحة ولكن |y| < 1- ستكون قيمة ℓ موجبة، بين 0 و1. وهذا يثبط التوقعات غير الواثقة.
   

• عندما تكون تنبؤات النموذج غير صحيحة - أي عندما تكون y هي الإشارة غير الصحيحة- ستكون قيمة ℓ أكبر من 1 وتزداد خطيًا بقيمة |y|. هذا يثبط بشدة التنبؤات غير الصحيحة.