الشبكات العصبية والتعليم العميق neural network Perceptrons الجزء 16

ولجعل أصل التدرج يعمل بشكل صحيح ، نحتاج إلى اختيار معدل التعلم η ليكون صغيرًا بما فيه الكفاية بحيث تكون المعادلة (9) تقريبية جيدة. إذا لم نفعل ذلك ، فقد ينتهي بنا الأمر مع CC> 0 ، والذي من الواضح أنه لن يكون جيداً! وفي الوقت نفسه ، لا نريد أن تكون η صغيرة للغاية ، لأن ذلك سيجعل التغييرات vv صغيرة ، ومن ثم ستعمل خوارزمية النسب التدرجية ببطء شديد. في التطبيقات العملية ، غالباً ما يتم تغيير η بحيث تبقى المعادلة (9) تقريبية جيدة ، لكن الخوارزمية ليست بطيئة للغاية. سنرى لاحقا كيف يعمل هذا.

لقد أوضحت انخفاض الانحدار عندما تكون الدالة C دالة على متغيرين فقط. ولكن ، في الواقع ، كل شيء يعمل بشكل جيد أيضًا حتى عندما تكون الدالة C دالة لعدة متغيرات أخرى. لنفترض على وجه الخصوص أن C هي دالة للمتغيرات m ، v1 ، … ، vm. ثم التغيير CC في C الناتج عن تغيير صغير vv = (vv1، …، vvm) T is
CC∇∇C⋅vv ، (12)
حيث theC التدرج هو المتجه
∇C ((CCvv1، …، CCvvm) T. (13)
تماما كما الحال بالنسبة للحالتين المتغيرين ، يمكننا أن نختار
Vv = -η∇C ، (14)
ونحن نضمن أن تعبيرنا (التقريبي) (12) لـ CC سيكون سلبيًا. هذا يعطينا طريقة لاتباع التدرج إلى الحد الأدنى ، حتى عندما تكون الدالة C دالة على العديد من المتغيرات ، عن طريق تطبيق قاعدة التحديث بشكل متكرر
v → v ‘= v-η∇C. (15)
يمكنك التفكير في قاعدة التحديث هذه كتعرّف خوارزمية انحدار التدرج. هذا يعطينا وسيلة لتغيير مرارا موقف ضد من أجل العثور على ما لا يقل عن وظيفة C. القاعدة لا تعمل دائما – العديد من الأشياء يمكن أن تسوء ومنع أصل التدرج من العثور على الحد الأدنى العالمي للC، نقطة نحن سوف يعود للاستكشاف في الفصول اللاحقة. ولكن، من الناحية العملية التدرج النسب في كثير من الأحيان يعمل بشكل جيد للغاية، والشبكات العصبية سنجد أنه وسيلة قوية لتقليل التكلفة وظيفة، وذلك بمساعدة شبكة التعلم.

في الواقع ، هناك حتى إحساس يكون فيه الانحدار المتدرج هو الإستراتيجية المثلى للبحث عن الحد الأدنى. لنفترض أننا نحاول القيام بتحرك vv في الموضع وذلك لتقليل C قدر الإمكان. هذا يعادل التقليل من CC∇∇C⋅vv. سنقيد حجم التحرك بحيث ∥∥v∥ = ε لبعض ε> 0 ثابت صغير. بعبارة أخرى ، نريد تحرّكًا خطوة صغيرة بحجم ثابت ، ونحن نحاول العثور على اتجاه الحركة الذي يخفض C قدر الإمكان. يمكن إثبات أن اختيار vv الذي يقلل من ∇C⋅vv هو vv = -η∇C ، حيث يتم تحديد η = ε / ∥∇C∥ بواسطة القيد size ∥∥v∥ = ε. لذلك يمكن النظر إلى أصل التدرج كطريقة لاتخاذ خطوات صغيرة في الاتجاه الذي يقوم بأكبر قدر من الانخفاض على الفور.