الشبكات العصبية والتعليم العميق neural network Perceptrons الجزء 15

حسنا ، لذلك لا يعمل حساب التفاضل والتكامل. لحسن الحظ ، هناك تشابه جميل يشير إلى خوارزمية تعمل بشكل جيد. نبدأ بالتفكير في وظيفتنا كنوع من الوادي (الرسم البياني) . إذا كنت تعانق قليلاً في قطعة الأرض أعلاه ، فلا ينبغي أن يكون ذلك صعباً للغاية. ونحن نتخيل كرة تتدحرج من منحدر الوادي. تخبرنا تجربتنا اليومية أن الكرة ستدوم في نهاية المطاف إلى أسفل الوادي. ربما يمكننا استخدام هذه الفكرة كطريقة للعثور على الحد الأدنى للوظيفة؟ كنا نختار بشكل عشوائي نقطة بداية لكرة (خيالية) ، ثم نحاكي حركة الكرة عندما تتدحرج إلى أسفل الوادي. يمكننا أن نفعل هذه المحاكاة ببساطة عن طريق حساب المشتقات (وربما بعض المشتقات الثانية) من C – أن تلك المشتقات يقول لنا كل ما تحتاج إلى معرفته عن “شكل” المحلية في وادي، وبالتالي كيف ينبغي لنا لفة الكرة.

بناءً على ما كتبته للتو ، قد تفترض أننا سنحاول كتابة معادلات نيوتن للحركة للكرة ، مع الأخذ في الاعتبار تأثيرات الاحتكاك والجاذبية ، وما إلى ذلك. في الواقع، نحن لسنا بصدد اتخاذ القياس المتداول الكرة تماما على محمل الجد – نحن نعمل على  ابتكار خوارزمية لتقليل C، لا تطور محاكاة دقيقة لقوانين الفيزياء! الهدف من رؤية الكرة هو تحفيز خيالنا ، وليس تقييد تفكيرنا. وذلك بدلا من الدخول في كل التفاصيل فوضوي الفيزياء، دعونا ببساطة نسأل أنفسنا: إذا كنا أعلن الله ليوم واحد، ويمكن أن تشكل القوانين الخاصة بنا من الفيزياء، ويملي على الكرة الكيفية التي ينبغي لفة، أي قانون أو قوانين الحركة يمكننا اختيار ذلك من شأنه أن يجعل حتى الكرة دائما في أسفل الوادي؟

لجعل هذا السؤال أكثر دقة ، دعنا نفكر فيما يحدث عندما نحرك الكرة بمقدار vv1 صغير في اتجاه v1 ، وكمية صغيرة vv2 في اتجاه v2. يخبرنا حساب التفاضل والتكامل أن C التغييرات على النحو التالي:
CC≈∂∂∂11vv1 + CCvv2vv2 (7)
سنجد طريقة لاختيار vv1 و vv2 لجعل CC سلبي ؛ أي ، سنختارهم حتى تنزل الكرة إلى الوادي. لمعرفة كيفية صنع مثل هذا الاختيار ، فإنه يساعد على تعريف vv أن يكون متجه التغيرات في v ، vv ((vv1 ، vv2) T ، حيث T مرة أخرى هي عملية التحويل ، وتحويل متجهات الصف إلى متجهات العمود. سنقوم أيضًا بتحديد تدرج C ليكون متجهًا للمشتقات الجزئية (CCvv1 و CCvv2). نحن نشير إلى متجه التدرج حسب ∇C ، أي:

∇C≡ ((CCvv1، CCvv2) T. (8)
في لحظة ، سنقوم بإعادة كتابة تغيير CC من حيث vv والانحدار ، ∇C. قبل الوصول إلى ذلك ، أريد أن أوضح شيئًا أحيانًا يجعل الناس يعلقون على التدرج. عند استيفاء ∇C notation لأول مرة ، يتساءل الناس أحيانًا عن كيفية التفكير في الرمز ∇. ما الذي يعنيه بالضبط؟ في الواقع ، من الجيد تمامًا أن نفكر في ∇C ككائن رياضي واحد – المتجه المحدد أعلاه – والذي يحدث ليتم كتابته باستخدام رمزين. في هذا الصدد ، ∇ هو مجرد قطعة من التلويح بالعلم ، ويقول لك “مهلا ، ∇C هو ناقل متدرج”. هناك وجهات نظر أكثر تقدمًا حيث يمكن اعتبار as ككيان رياضي مستقل في حد ذاته (على سبيل المثال ، كمشغل تفاضلي) ، لكننا لن نحتاج إلى وجهات النظر هذه.

مع هذه التعريفات ، يمكن كتابة تعبير (7) لـ CC ك
CC∇∇C⋅vv. (9)
تساعد هذه المعادلة في تفسير لماذا يطلق على ∇C اسم متجه التدرج: ∇C يرتبط بالتغيرات في v بالتغييرات في C ، تمامًا كما نتوقع شيئًا يسمى التدرج. ولكن ما هو مثير حقا حول المعادلة هو أنه يتيح لنا رؤية كيفية اختيار vv لجعل CC سلبي. على وجه الخصوص ، لنفترض أن نختار
Vv = -η∇C ، (10)
حيث η هي معلمة صغيرة وإيجابية (تعرف باسم معدل التعلم). ثم يخبرنا المعادلة (9) أن CC – η∇C⋅∇C = -η∥∇C∥2. لأن ∥∇C∥200 ، يضمن هذا أن CC00 ، أي ، C سوف ينخفض ​​دائمًا ، ولا يزيد أبدًا ، إذا قمنا بتغيير v وفقًا للوصفة الطبية في (10). (ضمن ، بالطبع ، حدود التقريب في المعادلة (9)). هذا هو بالضبط الممتلكات أردنا! ولذا سنأخذ المعادلة (10) لتحديد “قانون الحركة” للكرة في خوارزمية النسب المتدرج لدينا. بمعنى ، سنستخدم المعادلة (10) لحساب قيمة لـ vv ، ثم نحرك موضع الكرة v بهذا المقدار:
v → v ‘= v-η∇C. (11)
ثم سنستخدم قاعدة التحديث هذه مرة أخرى ، لاتخاذ خطوة أخرى. إذا واصلنا القيام بذلك ، مراراً وتكراراً ، فسوف نستمر في خفض C حتى – نأمل – أن نصل إلى الحد الأدنى العالمي.

باختصار ، الطريقة التي تعمل بها خوارزمية النسب المتدرج هي حساب التدرج repeatedlyC بشكل متكرر ، ثم التحرك في الاتجاه المعاكس ، “السقوط” على منحدر الوادي. يمكننا تصور ذلك على النحو التالي:

لاحظ أنه مع هذه القاعدة ، فإن أصل الانحدار لا ينتج عنه حركة فعلية حقيقية. في الحياة الحقيقية ، تمتلك الكرة قوة دافعة ، وقد يسمح هذا الزخم بالتدحرج عبر المنحدر ، أو حتى (مؤقتًا) إلى الأعلى صعودًا. فقط بعد أن يتم تعيين تأثيرات الاحتكاك في أن الكرة مكفولة لأسفل في الوادي. على النقيض من ذلك ، فإن حكمنا لاختيار vv يقول “انزل ، الآن”. هذا لا يزال قاعدة جيدة للعثور على الحد الأدنى!