التعلم الآلي الذكاء الصناعي – التعلم الخاضع للإشراف

مفهوم  التعلم تحت الإشراف: الانحدار والتصنيف. الانحدار الخطي ، وظائف الخسارة ، والانحدار التدريجي.

كم من المال سنكسب من خلال إنفاق المزيد من الدولارات على الإعلان الرقمي؟ هل سيقوم طالب القرض بتسديد القرض أم لا؟ ما الذي سيحدث في سوق الأسهم غدًا؟

في مشكلات التعلم الخاضعة للإشراف ، نبدأ بمجموعة بيانات تحتوي على أمثلة تدريب مع التصنيفات الصحيحة المرتبطة. على سبيل المثال ، عند تعلم تصنيف الأرقام المكتوبة بخط اليد ، تأخذ خوارزمية التعلم الخاضعة للإشراف آلاف الصور من الأرقام المكتوبة بخط اليد إلى جانب الملصقات التي تحتوي على الرقم الصحيح الذي تمثله كل صورة. ستتعرف الخوارزمية بعد ذلك على العلاقة بين الصور والأرقام المرتبطة بها ، وتطبق تلك العلاقة المستفادة لتصنيف صور جديدة تمامًا (بدون تسميات) لم يشاهدها الجهاز من قبل. هذه هي الطريقة التي يمكنك بها إيداع شيك عن طريق التقاط صورة بهاتفك!

لتوضيح كيفية عمل التعلم الخاضع للإشراف ، دعنا ندرس مشكلة توقع الدخل السنوي بناءً على عدد سنوات التعليم العالي التي أتمها شخص ما. معبرًا بشكل أكثر رسمية ، نود أن نبني نموذجًا يقارب العلاقة f بين عدد سنوات التعليم العالي X والدخل السنوي المقابل Y.

X (المدخلات) = سنوات التعليم العالي
Y (الإخراج) = الدخل السنوي
f = دالة تصف العلاقة بين X و Y
ϵ (epsilon) = مصطلح خطأ عشوائي (موجب أو سالب) بمتوسط صفر
بخصوص إبسيلون:
ϵ يمثل خطأ غير قابل للاختزال في النموذج ، وهو حد نظري حول أداء الخوارزمية بسبب الضوضاء الكامنة في الظواهر التي تحاول شرحها. على سبيل المثال ، تخيل بناء نموذج للتنبؤ بنتيجة النقود المعدنية.

تتمثل إحدى طرق التنبؤ بالدخل في إنشاء نموذج صارم قائم على القواعد لكيفية ارتباط الدخل والتعليم. على سبيل المثال: “أقدر أنه في كل سنة إضافية من التعليم العالي ، يزيد الدخل السنوي بمقدار 5000 دولار”.

الدخل = (5000 دولار * سنوات التعليم) + دخل أساسي
هذا النهج هو مثال على هندسة الحل (مقابل تعلم الحل ، كما هو الحال مع طريقة الانحدار الخطي الموضحة أدناه).

يمكنك التوصل إلى نموذج أكثر تعقيدًا من خلال تضمين بعض القواعد حول نوع الشهادة ، وسنوات الخبرة العملية ، والمستويات المدرسية ، إلخ. على سبيل المثال: “إذا أكملوا درجة البكالوريوس أو أعلى ، فامنح الدخل مضاعفًا 1.5x”.

لكن هذا النوع من البرمجة الصريحة المستندة إلى القواعد لا يعمل بشكل جيد مع البيانات المعقدة. تخيل محاولة تصميم خوارزمية تصنيف صورة مصنوعة من عبارات if – ثم تصف مجموعات سطوع البكسل التي يجب أن تحمل علامة “cat” أو “not cat”.

التعلم الآلي تحت الإشراف يحل هذه المشكلة عن طريق جعل الكمبيوتر يقوم بالعمل نيابة عنك. من خلال تحديد الأنماط في البيانات ، يكون الجهاز قادرًا على تشكيل الأساليب البحثية. الفرق الرئيسي بين هذا والتعلم البشري هو أن التعلم الآلي يعمل على أجهزة الكمبيوتر وأفضل فهم من خلال عدسة علوم وإحصاءات الكمبيوتر ، في حين أن مطابقة الأنماط البشرية تحدث في الدماغ البيولوجي (مع تحقيق نفس الأهداف).

في التعلم الخاضع للإشراف ، تحاول الآلة معرفة العلاقة بين الدخل والتعليم من نقطة الصفر ، عن طريق تشغيل بيانات التدريب المصنفة من خلال خوارزمية التعلم. يمكن استخدام هذه الوظيفة المستفادة لتقدير دخل الأشخاص الذين يكون دخلهم Y غير معروف ، طالما لدينا سنوات من التعليم X كمدخلات. بمعنى آخر ، يمكننا تطبيق نموذجنا على بيانات الاختبار غير المسماة لتقدير Y.

الهدف من التعلم الخاضع للإشراف هو التنبؤ بـ “نعم” بأكبر قدر ممكن من الدقة عند إعطاء أمثلة جديدة حيث تعرف X و Y غير معروفة. في ما يلي سنستكشف العديد من الطرق الأكثر شيوعًا للقيام بذلك.

مهمتا التعلم تحت الإشراف: الانحدار والتصنيف
الانحدار: توقع قيمة عددية مستمرة. كم ستبيع هذا المنزل؟
التصنيف: تعيين التسمية. هل هذه صورة قطة أم كلب؟
سوف يركز الجزء المتبقي من هذا القسم على الانحدار. في الجزء 2.2 ، سنتعمق في طرق التصنيف.

الانحدار: التنبؤ بقيمة مستمرة
يتنبأ الانحدار بمتغير مستهدف مستمر Y. يتيح لك تقدير قيمة ، مثل أسعار المساكن أو عمر الإنسان ، بناءً على بيانات الإدخال X.

هنا ، المتغير المستهدف يعني المتغير المجهول الذي نهتم به ، والوسائل المستمرة لا توجد فجوات (الانقطاعات) في القيمة التي يمكن أن تحملها Y. وزن الشخص وارتفاعه قيمتان مستمرتان. من ناحية أخرى ، يمكن للمتغيرات المنفصلة أن تأخذ فقط عددًا محدودًا من القيم – على سبيل المثال ، عدد الأطفال الذين يمتلكهم شخص ما هو متغير منفصل.

توقع الدخل هو مشكلة الانحدار الكلاسيكية. تتضمن بيانات الإدخال X جميع المعلومات ذات الصلة بالأفراد في مجموعة البيانات التي يمكن استخدامها للتنبؤ بالدخل ، مثل سنوات التعليم أو سنوات الخبرة العملية أو المسمى الوظيفي أو الرمز البريدي. تسمى هذه السمات بميزات ، والتي يمكن أن تكون عددية (مثل سنوات من الخبرة في العمل) أو قاطعة (مثل المسمى الوظيفي أو مجال الدراسة).

ستحتاج إلى أكبر عدد ممكن من الملاحظات التدريبية المتعلقة بربط هذه الميزات بالمخرجات المستهدفة Y ، حتى يتمكن النموذج الخاص بك من معرفة العلاقة بين X و Y.

يتم تقسيم البيانات إلى مجموعة بيانات التدريب ومجموعة بيانات الاختبار. تحتوي مجموعة التدريب على علامات ، لذلك يمكن أن يتعلم النموذج الخاص بك من هذه الأمثلة المصنفة. لا تحتوي مجموعة الاختبار على علامات ، أي أنك لا تعرف القيمة التي تحاول التنبؤ بها بعد. من المهم أن النموذج الخاص بك يمكن أن يعمم على المواقف التي لم يصادفها من قبل حتى يتمكن من أداء جيد على بيانات الاختبار.

انحسار
Y = f (X) + ϵ ، حيث X = (x1 ، x2 … xn)
التدريب: يتعلم الجهاز f من بيانات التدريب المسمى
اختبار: الجهاز يتوقع Y من بيانات الاختبار غير المسماة
لاحظ أن X يمكن أن يكون موترًا مع أي عدد من الأبعاد. الموتر 1D عبارة عن متجه (صف واحد ، العديد من الأعمدة) ، الموتر 2D عبارة عن مصفوفة (العديد من الصفوف ، العديد من الأعمدة) ، وبعد ذلك يمكنك الحصول على tensors بأبعاد 3 أو 4 أو 5 أو أكثر (مثل الموتر ثلاثي الأبعاد مع الصفوف والأعمدة والعمق). لمراجعة هذه المصطلحات ، راجع الصفحات القليلة الأولى من مراجعة الجبر الخطي هذه.
في مثالنا ثنائي الأبعاد البسيط التافه ، قد يتخذ هذا شكل ملف بتنسيق .csv حيث يحتوي كل صف على مستوى تعليم الشخص ودخله. أضف المزيد من الأعمدة مع المزيد من الميزات وستكون لديك نموذج أكثر تعقيدًا ، ولكن ربما أكثر دقة.

إذا كيف يمكننا حل هذه المشاكل؟
كيف نبني نماذج تجعل تنبؤات دقيقة ومفيدة في العالم الحقيقي؟ نحن نفعل ذلك باستخدام خوارزميات التعلم الخاضعة للإشراف.

الآن دعنا نصل إلى الجزء الممتع: التعرف على الخوارزميات. سنستكشف بعض طرق التعامل مع الانحدار والتصنيف وتوضيح مفاهيم التعلم الآلي الرئيسية طوال الوقت.

الانحدار الخطي (المربعات الصغرى العادية)
“ارسم الخط. نعم ، هذا يعد بمثابة تعلم آلي. ”

أولاً ، سنركز على حل مشكلة التنبؤ بالدخل من خلال الانحدار الخطي ، نظرًا لأن النماذج الخطية لا تعمل بشكل جيد مع مهام التعرف على الصور (هذا هو مجال التعلم العميق ، الذي سنستكشفه لاحقًا).

لدينا مجموعة البيانات X الخاصة بنا ، والقيم المستهدفة المقابلة Y. إن هدف الانحدار العادي للمربعات الصغرى (OLS) هو تعلم نموذج خطي يمكننا استخدامه للتنبؤ ب y جديدة مع إعطاء x غير مرئي سابقًا بأقل قدر ممكن من الخطأ. نريد أن نخمن مقدار الدخل الذي يجنيه شخص ما بناءً على عدد سنوات التعليم التي تلقاها.

X_train = [4 ، 5 ، 0 ، 2 ، … ، 6] # سنوات من التعليم بعد الثانوي
Y_train = [80 ، 91.5 ، 42 ، 55 ، … ، 100] # الدخل السنوي المقابل ، بآلاف الدولارات

الانحدار الخطي هو طريقة حدودي ، مما يعني أنه يقوم بافتراض حول شكل الوظيفة المتعلقة X و Y (سنقوم بتغطية أمثلة الطرق غير البارامترية لاحقًا). سيكون نموذجنا عبارة عن دالة تتنبأ بها – مع إعطاء علامة x محددة:

في هذه الحالة ، نفترض صراحة وجود علاقة خطية بين X و Y – أي لكل زيادة وحدة واحدة في X ، نرى زيادة ثابتة (أو نقصان) في Y.
β0 هي تقاطع y و β1 هي ميل منحدر خطنا ، أي مقدار زيادة الدخل (أو النقص) في سنة تعليمية إضافية.

هدفنا هو معرفة معلمات النموذج (في هذه الحالة ، β0 و β1) التي تقلل من الخطأ في تنبؤات النموذج.

للعثور على أفضل المعلمات:

1. حدد دالة التكلفة ، أو دالة الخسارة ، التي تقيس مدى دقة تنبؤات نموذجنا.
2. ابحث عن المعلمات التي تقلل من الخسارة ، أي جعل نموذجنا دقيقًا قدر الإمكان.
بيانيا ، في بعدين ، وهذا يؤدي إلى خط الأنسب. في ثلاثة أبعاد ، كنا نرسم طائرة ، وما إلى ذلك باستخدام طائرات عالية الأبعاد.

ملاحظة حول الأبعاد: مثالنا ثنائي الأبعاد للبساطة ، ولكن عادةً ما يكون لديك المزيد من الميزات (س) ومعاملات (تجريبية) في النموذج الخاص بك ، على سبيل المثال عند إضافة المزيد من المتغيرات ذات الصلة لتحسين دقة تنبؤات النموذج الخاص بك. تعميم نفس المبادئ على أبعاد أعلى ، على الرغم من أن الأمور تصبح أكثر صعوبة لتصور ما وراء ثلاثة أبعاد.

رياضيا ، ننظر إلى الفرق بين كل نقطة بيانات حقيقية (ص) وتنبؤ نموذجنا (ŷ). ضع مربعًا على هذه الاختلافات لتجنب الأرقام السالبة ومعاقبة الاختلافات الأكبر ، ثم قم بإضافتها وأخذ المتوسط. هذا مقياس لمدى ملائمة بياناتنا للخط.

ن = # من الملاحظات. إن استخدام 2 * n بدلاً من n يجعل الرياضيات تعمل بشكل أكثر نظافة عند أخذ المشتق لتقليل الخسارة ، على الرغم من أن بعض الإحصائيات تقول إن هذا تجديف. عندما تبدأ في الحصول على آراء حول هذا النوع من الأشياء ، ستعرف أنك على وشك الوصول إلى حفرة الأرانب.
لمشكلة بسيطة مثل هذه ، يمكننا حساب حل نموذج مغلق باستخدام حساب التفاضل والتكامل لإيجاد المعلمات بيتا المثلى التي تقلل من وظيفة الخسارة لدينا. ولكن نظرًا لأن دالة التكلفة تزداد تعقيدًا ، فإن العثور على حل شكل مغلق مع حساب التفاضل والتكامل لم يعد ممكنًا. هذا هو الدافع لنهج تكراري يسمى النسب التدرج ، والذي يسمح لنا لتقليل وظيفة الخسارة المعقدة.

النسب التدرج: تعلم المعلمات
“ارتد عصب العينين ، خذ خطوة إلى أسفل. لقد وجدت القاع عندما لا يكون لديك مكان تذهب إليه إلا للأعلى “.

سيأتي هبوط التدرج مرارًا وتكرارًا ، خاصة في الشبكات العصبية. تستخدم مكتبات التعلم الآلي مثل scikit-learn و TensorFlow في الخلفية في كل مكان ، لذلك يجدر فهم التفاصيل.

الهدف من نزول التدرج هو العثور على الحد الأدنى من وظيفة فقدان نموذجنا من خلال الحصول على تقريب أفضل وأفضل بشكل متكرر لها.

تخيل نفسك وأنت تمشي في وادٍ معصوب العينين. هدفك هو العثور على قاع الوادي. كيف يمكنك أن تفعل ذلك؟

هناك طريقة معقولة تتمثل في لمس الأرض من حولك والتحرك في أي اتجاه منحدر من الأرض بشدة. اتخذ خطوة وكرر نفس العملية باستمرار حتى تكون الأرض مسطحة. ثم تعرف أنك وصلت إلى قاع الوادي ؛ إذا كنت تتحرك في أي اتجاه من أين أنت ، فسوف ينتهي بك المطاف في نفس الارتفاع أو إلى أعلى صعودًا.

بالعودة إلى الرياضيات ، تصبح الأرض وظيفة الخسارة لدينا ، والارتفاع في قاع الوادي هو الحد الأدنى لتلك الوظيفة.

دعونا نلقي نظرة على وظيفة الخسارة التي رأيناها في الانحدار:

نحن نرى أن هذا هو في الحقيقة دالة لمتغيرين: β0 و β1. يتم تحديد جميع المتغيرات المتبقية ، حيث يتم إعطاء X و Y و n أثناء التدريب. نريد أن نحاول تقليل هذه الوظيفة.

الوظيفة هي f (β0 ، β1) = z. لبدء نزول التدرج ، يمكنك تخمين المعلمتين β0 و that1 التي تقلل الوظيفة.

بعد ذلك ، ستجد المشتقات الجزئية لوظيفة الخسارة فيما يتعلق بكل معلمة بيتا: [dz / dβ0، dz / dβ1]. يشير المشتق الجزئي إلى مقدار الزيادة الإجمالية أو النقصان الإجمالي في حالة زيادة β0 أو β1 بمقدار صغير جدًا.

بعبارة أخرى ، إلى أي مدى ستزيد تقديراتك للدخل السنوي على افتراض أن التعليم العالي صفر (β0) يزيد من فقدان (أي عدم دقة) النموذج الخاص بك؟ أنت تريد أن تذهب في الاتجاه المعاكس بحيث ينتهي بك الأمر إلى المشي إلى أسفل وتقليل الخسارة.

وبالمثل ، إذا قمت بزيادة تقديرك لمقدار كل عام تدريجي من التعليم الذي يؤثر على الدخل (-1) ، إلى أي مدى تزيد هذه الخسارة (z)؟ إذا كان المشتق الجزئي dz / β1 رقمًا سالبًا ، فإن الزيادة β1 جيدة لأنها ستقلل من الخسارة الكلية. إذا كان الرقم موجبًا ، فأنت تريد تقليل الرقم 1. إذا كان الصفر ، فلن تتغير “1” لأنه يعني أنك قد وصلت إلى الحد الأقصى.

استمر في ذلك حتى تصل إلى القاع ، أي أن الخوارزمية تتقارب وتقل الخسارة إلى الحد الأدنى. هناك الكثير من الحيل والحالات الاستثنائية التي تتجاوز نطاق هذه السلسلة ، ولكن بشكل عام ، هذه هي الطريقة التي تجد بها المعلمات المثلى لنموذج المعلمة الخاص بك.

Overfitting
التحليق: “شرلوك ، تفسيرك لما حدث للتو خاص للغاية بالموقف”. التنظيم: “لا تبالغ الأشياء ، شرلوك. سأضربك لكل كلمة إضافية. “Hyperparameter (λ):” هذه هي القوة التي سأثبرك بها على كل كلمة إضافية “.

هناك مشكلة شائعة في التعلم الآلي وهي التحليق: تعلم وظيفة تشرح بشكل مثالي بيانات التدريب التي استفاد منها النموذج ، ولكنها لا تعمم بشكل جيد لإلغاء اختبار البيانات. يحدث التحمل الزائد عندما يتداخل نموذج من بيانات التدريب إلى درجة أنه يبدأ في التقاط الخصوصيات التي لا تمثل الأنماط في العالم الحقيقي. هذا يصبح مشكلة خاصة لأنك تجعل نموذجك معقدًا بشكل متزايد. Underfitting هي مشكلة ذات صلة حيث النموذج الخاص بك ليست معقدة بما فيه الكفاية لالتقاط الاتجاه الأساسي في البيانات.

انحراف التباين المفاضلة
Bias هو مقدار الخطأ الناتج عن تقريب ظواهر العالم الحقيقي بنموذج مبسط.
التباين هو مقدار تغير خطأ اختبار النموذج بناءً على التباين في بيانات التدريب. إنه يعكس حساسية النموذج لخصوصيات مجموعة البيانات التي تم تدريبها عليها.
نظرًا لأن النموذج يزداد تعقيدًا ويصبح أكثر مرونة (مرونة) ، فإن انحيازه يتناقص (يقوم بعمل جيد في شرح بيانات التدريب) ، لكن التباين يزداد (لا يعمم أيضًا). في النهاية ، من أجل الحصول على نموذج جيد ، فأنت بحاجة إلى نموذج ذو انحياز منخفض وتباين منخفض.

تذكر أن الشيء الوحيد الذي يهمنا هو كيفية أداء النموذج على بيانات الاختبار. تريد توقع رسائل البريد الإلكتروني التي سيتم تعليمها كرسائل غير مرغوب فيها قبل أن يتم تمييزها ، وليس فقط بناء نموذج دقيق بنسبة 100٪ في إعادة تصنيف رسائل البريد الإلكتروني التي استخدمتها لبناء نفسها في المقام الأول. بعد فوات الأوان هو 20/20 – السؤال الحقيقي هو ما إذا كانت الدروس المستفادة ستساعد في المستقبل.

النموذج الموجود على اليمين ليس له أي خسارة في بيانات التدريب لأنه يناسب تمامًا كل نقطة بيانات. لكن الدرس لا يعمم. ستؤدي مهمة فظيعة في توضيح نقطة بيانات جديدة لم تصل بعد إلى الخط.

طريقتان لمكافحة التجاوز:

1. استخدام المزيد من بيانات التدريب. كلما زاد عدد العناصر الموجودة لديك ، زادت صعوبة عملية تجهيز البيانات من خلال التعلم أكثر من أي مثال تدريبي واحد.

2. استخدام التنظيم. أضف ركلة جزاء في وظيفة الخسارة لبناء نموذج يخصص الكثير من القدرة التوضيحية لأي ميزة واحدة أو يتيح أخذ العديد من الميزات في الاعتبار.

الجزء الأول من المبلغ أعلاه هو وظيفة التكلفة العادية لدينا. الجزء الثاني هو مصطلح تنظيم يضيف عقوبة لمعاملات بيتا الضخمة التي تعطي الكثير من القوة التوضيحية لأي ميزة محددة. مع وجود هذين العنصرين في مكانه الصحيح ، تتوازن وظيفة التكلفة الآن بين أولويتين: شرح بيانات التدريب ومنع هذا التفسير من أن يصبح مفرط التحديد.

معامل لامدا لمصطلح التنظيم في دالة التكلفة هو مقياس فرعي: إعداد عام للطراز الخاص بك يمكن زيادته أو إنقاصه (أي ضبطه) من أجل تحسين الأداء. إن قيمة أعلى من لامدا ستعاقب بشكل كبير معاملات بيتا الكبيرة التي يمكن أن تؤدي إلى زيادة الاحتمال. لتحديد أفضل قيمة لـ lambda ، يمكنك استخدام طريقة تسمى التحقق المتبادل والتي تتضمن الاحتفاظ بجزء من بيانات التدريب أثناء التدريب ، ومن ثم معرفة مدى جودة نموذجك في شرح جزء التعليق. سنذهب إلى هذا بتعمق أكبر

وو! لقد فعلناها.
إليك ما قمنا بتغطيته في هذا القسم:

كيف يمكن تعلم الآلة الخاضعة للإشراف لأجهزة الكمبيوتر من التعلم من بيانات التدريب المصنفة دون أن تتم برمجتها بشكل واضح
مهام التعلم تحت الإشراف: الانحدار والتصنيف
الانحدار الخطي ، خوارزمية حدودي الخبز والزبدة
معلمات التعلم مع النسب التدرج
التحمل والتنظيم
في القسم التالي – الجزء 2.2: التعلم الخاضع للإشراف II – سنتحدث عن طريقتين أساسيتين للتصنيف: الانحدار اللوجستي وآلات ناقلات الدعم.

مواد الممارسة ومزيد من القراءة
2.1a – الانحدار الخطي
للحصول على علاج أكثر شمولًا للانحدار الخطي ، اقرأ الفصول 1-3 من مقدمة في التعلم الإحصائي. الكتاب متاح مجانًا على الإنترنت وهو مورد ممتاز لفهم مفاهيم التعلم الآلي مع التمارين المصاحبة.

لمزيد من الممارسة:

العب مع مجموعة بيانات بوسطن للإسكان. يمكنك إما استخدام برنامج مع واجهة المستخدم الرسومية لطيفة مثل Minitab و Excel أو القيام بذلك بالطريقة الصعبة (ولكن أكثر مجزية) مع Python أو R.
جرب يدك في تحدي Kaggle ، على سبيل المثال التنبؤ بأسعار الإسكان ، ونرى كيف تعامل الآخرين مع المشكلة بعد تجربتها بنفسك.
2.1b – تنفيذ النسب التدرج
في الواقع لتنفيذ النسب التدرج في بيثون ، راجع هذا البرنامج التعليمي. وهنا وصف أكثر دقة رياضيا لنفس المفاهيم.

في الممارسة العملية ، لن تحتاج إلى تطبيق النسب المتدرج من الصفر ، ولكن فهم كيفية عمله خلف الكواليس سيسمح لك باستخدامه بشكل أكثر فاعلية وفهم السبب وراء كسر الأشياء عند حدوثها.