على عكس معظم برامج التشفير التلقائي، وهي نماذج حتمية تشفر متجه واحد من المتغيرات الكامنة المنفصلة، فإن برامج التشفير التلقائي المتغيرة (VAE) هي نماذج احتمالية. وتشفر برامج التشفير التلقائي المتغيرة (VAE) المتغيرات الكامنة لبيانات التدريب ليس كقيمة منفصلة ثابتة z، ولكن كنطاق مستمر من الاحتمالات المُعبر عنها كتوزيع احتمالي p(z).

في إحصاءات بايزي، يسمى هذا النطاق المكتسب من الاحتمالات للمتغير الكامن التوزيع السابق. وفي الاستدلال المتغير، وهي العملية التوليدية لتوليف نقاط بيانات جديدة، يتم استخدام هذا التوزيع المسبق لحساب التوزيع الخلفي، p(z|x). وبمعنى آخر، قيمة المتغيرات التي يمكن ملاحظتها هي x، مع إعطاء قيمة للمتغير الكامن z.

لكل سمة كامنة لبيانات التدريب ، تقوم برامج التشفير التلقائي المتغيرة (VAE) بتشفير متجهين كامنين مختلفين: متجه للوسائل، "μ"، ومتجه للانحرافات المعيارية، "σ". وفي الأساس، يمثل هذان المتجهان نطاق الاحتمالات لكل متغير كامن والتباين المتوقع داخل كل نطاق من الاحتمالات.

من خلال أخذ العينات بشكل عشوائي من داخل هذا النطاق من الاحتمالات المشفرة، يمكن لبرامج التشفير التلقائي المتغيرة (VAE) تجميع عينات بيانات جديدة تشبه بيانات التدريب الأصلية، مع كونها فريدة وأصلية في حد ذاتها. وعلى الرغم من أن هذه المنهجية بديهية نسبيًا من حيث المبدأ، إلا أنها تتطلب مزيدًا من التعديلات على منهجية التشفير التلقائي القياسية ليتم وضعها موضع التنفيذ.

لشرح هذه القدرة التي تميز برامج التشفير التلقائي المتغيرة (VAE)، سنستعرض المفاهيم التالية:

• خسائر إعادة البناء
  
  
• تباعد كولباك-ليبلر (كوالا لمبور)
  
  
• الحد الأدنى للأدلة (ELBO)
  
  
• خدعة إعادة تحديد المعالم
  

كما هو حال جميع برامج التشفير التلقائي، تستخدم برامج التشفير التلقائي المتغيرة (VAE) خسائر إعادة البناء، والذي يُطلق عليه أيضًا خطأ إعادة البناء، كدالة خسارة أساسية في التدريب. ويقيس خطأ إعادة البناء الفرق (أو "الخسارة") بين بيانات الإدخال الأصلية والنسخة المعاد إنشاؤها من إخراج البيانات تلك بواسطة برنامج فك التشفير. ويمكن استخدام خوارزميات متعددة، بما في ذلك خسارة الإنتروبيا المتقاطعة أو متوسط الخطأ التربيعي (MSE)، كدالة لخسارة إعادة البناء.

 كما أوضحنا سابقا، تنشئ بنية التشفير التلقائي عنق زجاجة يسمح فقط لمجموعة فرعية من بيانات الإدخال الأصلية بالمرور إلى وحدة فك التشفير. وفي بداية التدريب، الذي يبدأ عادة بتهيئة عشوائية لمعلمات النموذج، لم يتعلم برنامج التشفير بعد أجزاء البيانات التي يجب تقييمها بشكل أكبر. ونتيجة لذلك، سينتج في البداية تمثيلاً كامنا دون المستوى الأمثل، وستنتج برامج فك التشفير إعادة بناء غير دقيقة أو غير كاملة إلى حد ما للإدخال الأصلي.

بفضل تقليل خطأ إعادة البناء من خلال شكل من أشكال النزول المتدرج على معلمات شبكة التشفير وشبكة فك التشفير، سيتم تعديل أوزان نموذج التشفير التلقائي بطريقة تنتج تشفيرًا أكثر فائدة للفضاء الكامن (وبالتالي إعادة بناء أكثر دقة). ومن الناحية الرياضية، فإن هدف دالة خسارة إعادة البناء هو تحسين p_θ(z|x)، حيث يُمثل θ معلمات النموذج التي تفرض إعادة البناء الدقيقة للمدخلات x بالنظر إلى المتغير الكامن z. 

تعد خسارة إعادة البناء وحدها كافية لتحسين معظم برامج التشفير التلقائي، والتي يتمثل هدفها الوحيد في تعلم التمثيل المضغوط لبيانات الإدخال التي تساعد في إعادة البناء بدقة.

ومع ذلك، فإن الهدف من التشفير التلقائي المتغير ليس إعادة بناء الإدخال الأصلي. وإنما إنشاء عينات جديدة تشبه المدخلات الأصلية. ولهذا السبب، فهناك حاجة إلى مصطلح تحسين إضافي.

لأغراض الاستدلال المتغير—إنشاء عينات جديدة بواسطة نموذج مدرب—يمكن أن تؤدي خسارة إعادة البناء وحدها إلى تشفير غير منتظم للفضاء الكامن التي تبالغ في ملاءمة بيانات التدريب ولا يمكن تعميمها بشكل جيد على العينات الجديدة. ولذلك، فإن التباعد بين برامج التشفير التلقائي المتغيرة (VAE) يتضمن مصطلح تنظيم آخر: تباعد كولباك-ليبلر، أو تباعد KL.

لإنشاء صور، يأخذ برنامج فك التشفير عينات من الفضاء الكامن. أخذ العينات من النقاط المحددة في الفضاء الكامن الذي يمثل المدخلات الأصلية في بيانات التدريب من شأنه أن يكرر تلك المدخلات الأصلية. ولإنشاء صور جديدة، يجب أن يكون برنامج التشفير التلقائي المتغير (VAE) قادرًا على أخذ عينات من أي مكان في الفضاء الكامن بين نقاط البيانات الأصلية. ولكي يكون ذلك ممكنًا، يجب أن يُظهر الفضاء الكامن نوعين من الانتظام:

• الاستمرارية: يجب أن تسفر النقاط المتقاربة في الفضاء الكامن عن محتوى مماثل عند فك التشفير.
• الاكتمال: يجب أن تسفر أي نقطة تم أخذ عينة منها من الفضاء الكامن عن محتوى مفيد عند فك تشفيرها.

واحدة من الطرق البسيطة لتنفيذ كل من الاستمرارية والاكتمال في الفضاء الكامن هي المساعدة في ضمان اتباع توزيع طبيعي قياسي، يسمى التوزيع الغاوسي. لكن تقليل خسارة إعادة البناء فقط لا يحفز النموذج على تنظيم الفضاء الكامن بأي طريقة معينة، لأن الفضاء "البيني" ليست ذا صلة بإعادة البناء الدقيقة لنقاط البيانات الأصلية. وهذا هو المكان الذي يبدأ فيه دور مصطلح تنظيم تباعد KL.

تباعد KL هو مقياس يُستخدم للمقارنة بين توزيعين احتماليين. إن تقليل تباعد KL بين التوزيع المكتسب للمتغيرات الكامنة والتوزيع الغاوسي البسيط الذي تتراوح قيمه من 0 إلى 1 يجبر التشفير المكتسب للمتغيرات الكامنة على اتباع التوزيع الطبيعي. وهذا يسمح بالاستيفاء السلس لأي نقطة في الفضاء الكامن، وبالتالي إنتاج صور جديدة.

تتمثل إحدى العقبات التي تحول دون استخدام تباعد KL للاستدلال التغييري في أن مقام المعادلة غير قابل للعزل، ما يعني أنه سيستغرق وقتًا لا نهائيًا نظريًا لحسابها مباشرةً. وللتغلب على هذه المشكلة، ودمج كل من دالتي الخسارة الرئيسية، تقارب برامج التشفير التلقائي المتغيرة (VAEs) تقليل تباعد KL عن طريق تعظيم الحد الأدنى للأدلة (ELBO).

في المصطلحات الإحصائية، يشير "الدليل" في "الحد الأدنى للدليل" إلى p(x)، بيانات الإدخال التي يمكن ملاحظتها والتي يكون برنامج التشفير التلقائي المتغير (VAE) مسؤولاً ظاهريًا عن إعادة بنائها. وتلك المتغيرات التي يمكن ملاحظتها في بيانات الإدخال هي "الدليل" على المتغيرات الكامنة التي اكتشفها برنامج التشفير التلقائي. ويشير "الحد الأدنى" إلى أسوأ تقدير للوغاريتم الاحتمال اللوغاريتمي لتوزيع معين. وقد تكون احتمالية تسجيل الدخول الفعلية أعلى من الحد الأدنى للأدلة (ELBO).  

في سياق برامج التشفير التلقائي المتغيرة (VAEs)، يشير الحد الأدنى للأدلة إلى تقدير أسوأ الحالات لاحتمال أن يكون التوزيع الخلفي المحدد—بمعنى آخر، ناتج محدد من برنامج التشفير التلقائي، مشروطًا بكل من مصطلح خسارة تباعد KL ومصطلح خسارة إعادة البناء—يناسب "دليل" بيانات التدريب. ومن ثم، يُمكن الإشارة إلى تدريب نموذج للاستدلال المتغير من حيث تعظيم الحد الأدنى للأدلة (ELBO).

كما تم التطرق إليه، فإن الهدف من الاستدلال التغييري هو إخراج بيانات جديدة على شكل تغيرات عشوائية لبيانات التدريب x. وللوهلة الأولى، يبدوا الأمر بسيطًا نسبيًا: استخدم دالة ƒ التي تحدد قيمة عشوائية للمتغير الكامن z، والتي يمكن لبرنامج فك التشفير استخدامها بعد ذلك لإنشاء إعادة بناء تقريبية لـ x.

ومع ذلك، فإن الخاصية المتأصلة في العشوائية هي أنه لا يمكن تحسينها. لا يوجد "أفضل" عشوائي. متجه القيم العشوائية، بحكم تعريفه، ليس له مشتق—أي لا يوجد تدرج يعبر عن أي نمط في مخرجات النموذج الناتج—وبالتالي لا يمكن تحسينه من خلال الانتشار العكسي باستخدام أي شكل من أشكال النزول المتدرج. وهذا يعني أن الشبكة العصبية التي تستخدم عملية أخذ العينات العشوائية السابقة لا يمكنها تعلم المعلمات المثلى للقيام بمهمتها.

للتحايل على هذه العقبة، تستخدم برامج التشفير التلقائي المتغيرة (VAE) خدعة إعادة تحديد المعلمات، حيث تقدم خدعة إعادة تحديد المعلمات معلمة جديدة، ε، وهي قيمة عشوائية مختارة من التوزيع الطبيعي بين 0 و1.

ثم تعيد تعيين معلمات المتغير الكامن z على النحو التالي z = μx + εσx. وبعبارات أبسط، فإنها تختار قيمة للمتغير الكامن z عن طريق البدء بمتوسط هذا المتغير (يمثله μ) وتحويله بمضاعف عشوائي (يمثله ε) للانحراف المعياري (σ). وبناءً على تلك القيمة المحددة لـ z، يقوم برنامج فك التشفير بإخراج عينة جديدة.

نظرًا لأن القيمة العشوائية ε غير مشتقة من معلمات نموذج برنامج التشفير التلقائي وليس لها علاقة بها، فإنه يمكن تجاهلها أثناء الانتشار العكسي. ويتم تحديث النموذج من خلال بعض أشكال النزول المتدرج—في أغلب الأحيان باستخدام Adam (يؤدي الرابط إلى صفحة خارج موقع ibm.com)، وهي خوارزمية تحسين تعتمد على التدرج تم تطويرها أيضًا بواسطة كينجما—لتعظيم الحد الأدنى للأدلة (ELBO).