الشبكات العصبية والتعليم العميق neural network Perceptrons الجزء 13

التعلم بالتدرج
الآن بعد أن أصبح لدينا تصميم شبكتنا العصبية ، كيف يمكن أن تتعلم التعرف على الأرقام؟ أول شيء سنحتاج إليه هو مجموعة من البيانات للتعلم منها – ما يسمى بمجموعة بيانات التدريب. سنستخدم مجموعة بيانات MNIST ، التي تحتوي على عشرات الآلاف من الصور الممسوحة ضوئيًا للأرقام المكتوبة بخط اليد ، بالإضافة إلى تصنيفاتها الصحيحة. يأتي اسم MNIST من حقيقة أنه عبارة عن مجموعة فرعية معدلة من مجموعتين من البيانات تم جمعها من قبل المعهد القومي للمعايير والتقنية في الولايات المتحدة. إليك بعض الصور من MNIST:

وكما ترون ، فإن هذه الأرقام ، في الواقع ، هي نفس تلك الموضحة في بداية هذا الفصل كتحدي للتعرف عليه. بالطبع ، عند البداء في اختبار شبكتنا ، سنطلب منه التعرف على الصور غير الموجودة في مجموعة التدريب!

تأتي بيانات MNIST في جزأين. يحتوي الجزء الأول على 60،000 صورة لاستخدامها كبيانات تدريبية. يتم مسح هذه الصور ضوئياً من 250 شخصاً نصفهم من موظفي مكتب الإحصاء الأميركي ونصفهم من طلاب المدارس الثانوية. الصور ذات تدرج الرمادي و 28 × 28 بيكسل في الحجم. الجزء الثاني من مجموعة بيانات MNIST هو 10000 صورة ليتم استخدامها كبيانات اختبار. مرة أخرى ، هذه هي 28 من 28 صورة رمادية. سنستخدم بيانات الاختبار لتقييم مدى تعلم شبكتنا العصبية من التعرف على الأرقام. ولجعل ذلك اختبارًا جيدًا للأداء ، تم أخذ بيانات الاختبار من مجموعة مختلفة من 250 شخصًا من بيانات التدريب الأصلية (وإن كان لا يزال تقسيمًا بين موظفي مكتب التعداد وطلاب المدارس الثانوية). وهذا يساعدنا على الثقة في أن نظامنا يمكنه التعرف على أرقام من الأشخاص الذين يقومون بكتابتها ولم يروها أثناء التدريب

سنستخدم الترميز x للدلالة على إدخال التدريب. سيكون من الملائم اعتبار كل إدخال تدريبي x ك a 28 × 28 = 784-dimensional vector. يمثل كل إدخال في المتجه القيمة الرمادية لبيكسل واحد في الصورة. سنشير إلى الناتج المطلوب المناظر بواسطة y = y (x) ، حيث y هو متجه 10-الأبعاد. على سبيل المثال ، إذا كانت صورة تدريب معينة ، x ، تصور 6 ، ثم y (x) = (0.0،0،0،0،0،1،0،0،0) T هي النتيجة المرجوة من الشبكة . ﻻﺣ Note أن T هﻨﺎ هﻲ ﻋﻤﻠﻴﺔ اﻟﺘﻐﻴﻴﺮ ، وﺗﻘﻮم ﺑﺘﻮﺟﻴﻪ ﻣﺘﺠﻪ إﻟﻰ ﻣﺘﻮﺟﻪ (ﻋﻤﻮد) ﻋﺎدي.

ما نريده هو خوارزمية تتيح لنا العثور على الأوزان والتحيزات بحيث يقارب الناتج من الشبكة ذ (س) لكل مدخلات التدريب x. لتحديد مدى نجاحنا في تحقيق هذا الهدف ، نحدد وظيفة التكلفة * * يشار إليها أحيانًا على أنها خسارة أو وظيفة موضوعية. نحن نستخدم مصطلح دالة التكلفة طوال هذا الكتاب ، لكن يجب أن تلاحظ المصطلحات الأخرى ، حيث أنها غالبًا ما تستخدم في الأوراق البحثية والمناقشات الأخرى للشبكات العصبية. :
C (w، b) 1212nΣx∥y (x) -a∥2. (6)
هنا W يدل على جمع كل الأوزان في الشبكة، B كل التحيزات، n هو العدد الإجمالي للمدخلات التدريب، وهو متجه النواتج من الشبكة عندما x هو المدخلات، والمبلغ هو على كل مدخلات التدريب، س. وبطبيعة الحال ، يعتمد الإخراج a على x و w و b ، ولكن للحفاظ على الترميز البسيط لم أذكر صراحة هذا الاعتماد. يشير الرمز ∥v∥ إلى دالة الطول المعتادة للمتجه v. سوف نطلق على C وظيفة التكلفة التربيعية ؛ كما يُعرف أحيانًا باسم خطأ التربيع المتوسط ​​أو MSE فقط. عند فحص شكل دالة التكلفة التربيعية ، نرى أن C (w، b) غير سالبة ، لأن كل مصطلح في المجموع غير سلبي. علاوة على ذلك ، تصبح التكلفة C (w، b) صغيرة ، أي C (w، b) 00 ، بالضبط عندما تكون y (x) مساوية تقريباً للإخراج ، a ، لكل مدخلات التدريب ، x. لذا قامت خوارزمية التدريب لدينا بعمل جيد إذا تمكنت من إيجاد الأوزان والتحيزات بحيث C (w، b) 00. على النقيض من ذلك ، فإنها لا تعمل بشكل جيد عندما تكون C (w، b) كبيرة – وهذا يعني أن y (x) ليس قريبًا من الناتج بالنسبة لعدد كبير من المدخلات. لذا سيكون الهدف من خوارزمية التدريب لدينا هو تقليل التكلفة C (w، b) كدالة للأوزان والتحيزات. بعبارة أخرى ، نريد العثور على مجموعة من الأوزان والتحيزات التي تجعل التكلفة صغيرة قدر الإمكان. سنفعل ذلك باستخدام خوارزمية تُعرف باسم أصل التدرج.