الشبكات العصبية والتعليم العميق neural network Perceptrons الجزء 14

لماذا أعرض التكلفة التربيعية؟ بعد كل شيء ، لا نرغب في المقام الأول في عدد الصور المصنفة بشكل صحيح من قبل الشبكة؟ لماذا لا تحاول زيادة هذا العدد إلى الحد الأقصى مباشرةً ، بدلاً من تقليل تدبير الوكيل مثل التكلفة التربيعية؟ تكمن المشكلة في ذلك في أن عدد الصور التي تم إعادة تصنيفها بشكل صحيح ليس وظيفة سلسة من الأوزان والتحيزات في الشبكة. بالنسبة للجزء الأكبر ، لن يؤدي إجراء تغييرات صغيرة على الأوزان والتحيزات إلى أي تغيير على الإطلاق في عدد صور التدريب التي تم إعادة تصنيفها بشكل صحيح. هذا يجعل من الصعب معرفة كيفية تغيير الأوزان والتحيزات للحصول على أداء محسن. إذا استخدمنا بدلاً من ذلك وظيفة تكلفة سلسة مثل التكلفة التربيعية ، فقد تبين أنه من السهل معرفة كيفية إجراء تغييرات صغيرة في الأوزان والتحيزات من أجل الحصول على تحسن في التكلفة. لهذا السبب نركز أولاً على تقليل التكلفة التربيعية ، وفقط بعد ذلك سنفحص دقة التصنيف.

حتى إذا أردنا استخدام وظيفة تكلفة سلسة ، قد لا تزال تتساءل لماذا نختار الدالة التربيعية المستخدمة في المعادلة (6). أليس هذا خيارًا مخصصًا؟ ربما إذا اخترنا وظيفة تكلفة مختلفة ، فسنحصل على مجموعة مختلفة تمامًا من التقليل من الأوزان والتحيزات؟ هذا هو مصدر قلق صحيح ، وبعد ذلك سنقوم بإعادة النظر في وظيفة التكلفة ، وجعل بعض التكوينات. ومع ذلك، فإن وظيفة تكلفة الدرجة الثانية من المعادلة (6) يعمل جيدا لفهم أساسيات التعلم في الشبكات العصبية، ولذا فإننا سوف العصا معه في الوقت الراهن.

الاسترداد ، هدفنا في تدريب الشبكة العصبية هو إيجاد الأوزان والتحيزات التي تقلل من دالة التكاليف التربيعية C (w، b). هذه هي مشكلة يطرحها بشكل جيد، ولكن انها حصلت على الكثير من هيكل تشتيت كما طرحت حاليا – تفسير ث و ب كما الأوزان والانحيازات، وظيفة σ الكامنة في الخلفية، واختيار من هندسة الشبكات، MNIST، وهلم جرا . اتضح أننا نستطيع أن نفهم كمية هائلة من خلال تجاهل معظم تلك البنية ، والتركيز فقط على جانب التقليل. حتى الآن ، سننسى الشكل المحدد لوظيفة التكلفة ، والاتصال بالشبكات العصبية ، وما إلى ذلك. بدلاً من ذلك ، سوف نتخيل أننا قد أعطينا ببساطة وظيفة من العديد من المتغيرات ونحن نريد التقليل من هذه الوظيفة. سنقوم بتطوير تقنية تسمى هبوط التدرج والتي يمكن استخدامها لحل مشاكل التقليل. ثم سوف نعود إلى الوظيفة المحددة التي نريد تقليلها للشبكات العصبية.

حسنًا ، لنفترض أننا نحاول تقليل بعض الوظائف ، C (v). قد يكون هذا أي دالة ذات قيمة حقيقية للعديد من المتغيرات ، v = v1 ، v2 ، …. علما بأنني قد حل محل تدوين ث و ب التي كتبها v التأكيد على أن هذا يمكن أن يكون أي وظيفة – نحن لا نفكر بشكل خاص في سياق الشبكات العصبية أكثر من ذلك. لتقليل C (v) فإنه يساعد على تخيل C كدالة لاثنين فقط من المتغيرات ، والتي سنطلق عليها v1 و v2:

ما نود أن نصل إليه هو العثور على C حيث تحقق الحد الأدنى العالمي. الآن، بالطبع، على وظيفة المرسومة أعلاه، يمكننا أن مقلة العين الرسم البياني والعثور على الحد الأدنى. بهذا المعنى ، لقد أظهرت وظيفة بسيطة جدًا. وظيفة عامة، C، قد تكون وظيفة معقدة من العديد من المتغيرات، وأنها لن تكون عادة من الممكن فقط مقلة العين الرسم البياني للعثور على الحد الأدنى.

طريقة واحدة لمهاجمة المشكلة هو استخدام حساب التفاضل والتكامل في محاولة للعثور على الحد الأدنى من الناحية التحليلية. يمكننا حساب المشتقات ومن ثم محاولة استخدامها للعثور على الأماكن التي يكون فيها C حدًا أقصى. مع بعض الحظ الذي قد يعمل عندما تكون C دالة لمتغير واحد أو عدد قليل من المتغيرات. لكنها ستتحول إلى كابوس عندما يكون لدينا العديد من المتغيرات. وللشبكات العصبية سنقوم في كثير من الأحيان تريد أكثر بكثير من المتغيرات – أكبر الشبكات العصبية لها وظائف التكلفة التي تعتمد على المليارات من الأوزان والانحيازات بطريقة معقدة للغاية. باستخدام حساب التفاضل والتكامل لتقليل ذلك لن يعمل!

(بعد مؤكدا أننا سوف اكتساب المعرفة من خلال تخيل C بوصفها وظيفة من المتغيرات اثنين فقط، لقد استدار مرتين في فقرتين، وقال: “مهلا، ولكن ماذا لو انها وظيفة من الكثير من متغيرين؟” عذرا حول ذلك. الرجاء صدقوني عندما أقول أنه حقا لا تساعد على تصور C بوصفها وظيفة من اثنين من المتغيرات، ويحدث لمجرد أنه في بعض الأحيان تلك الصورة ينهار، والفقرتين الأخيرتين كانوا يتعاملون مع مثل هذه الأعطال. حسن التفكير حول الرياضيات في كثير من الأحيان ينطوي شعوذة متعددة الصور بديهية، والتعلم عندما يكون من المناسب استخدام كل صورة، وعندما لا يكون.)