كل ما تحتاج إلى معرفته عن AutoML والبحث في الهندسة المعمارية العصبية

AutoML الهلكلية ةتصميم الكود  العصبية (NAS) هم الملوك الجدد لقلعة التعلم العميق. إنها الطريقة السريعة  للحصول على دقة كبيرة لمهمة التعلم الآلي دون الكثير من العمل. بسيطة وفعالة ؛ هذا ما نريد أن تكون منظمة العفو الدولية متعلقة به!

فكيف يعمل؟ كيف تستخدمه؟ ما هي الخيارات التي لديك لتسخير هذه القوة اليوم؟

إليك كل ما تحتاج إلى معرفته عن AutoML و NAS.

يتطلب تطوير نماذج الشبكات العصبية في كثير من الأحيان هندسة هيكلية  ومواد مالية كبيرة. يمكنك أحيانًا التعلم باستخدام التحويل ، ولكن إذا كنت تريد حقًا أفضل أداء ممكن ، فمن الأفضل انشاء و تصميم شبكتك الخاصة. وهذا يتطلب مهارات متخصصة ويمثل تحديًا بشكل عام ؛ قد لا نعرف حتى حدود التقنيات الحديثة الحالية! وايضان  تستغرق وقتا طويلا ومكلفة.

هذا هو المكان الذي تأتي فيه NAS.

NAS هي خوارزمية تبحث عن أفضل بنية الشبكة العصبية. معظم الخوارزميات تعمل بهذه الطريقة. ابدأ من خلال تحديد مجموعة من “وحدات البناء” التي يمكن استخدامها لشبكتنا. على سبيل المثال ، تقترح ورقة NASNet الحديثة هذه الكتل المستخدمة بشكل شائع لشبكة التعرف على الصور:

كتل NASNet لشبكة التعرف على الصور
في خوارزمية NAS ، تقوم وحدة تحكم الشبكة العصبية المتكررة (RNN) بتجميع وحدات البناء هذه ، بحيث يتم تجميعها لإنشاء نوع من البنية الشاملة من النهاية إلى النهاية. تجسد هذه البنية عمومًا نفس نمط شبكات الاتصال الحديثة مثل ResNets أو DenseNets ، ولكنها تستخدم تركيبة وتكوينات مختلفة تمامًا للكتل.

يتم بعد ذلك تدريب بنية الشبكة الجديدة هذه على التقارب للحصول على بعض الدقة في مجموعة التحقق من الصلاحية. يتم استخدام الدقة الناتجة لتحديث وحدة التحكم بحيث تقوم وحدة التحكم بإنشاء هندسة معمارية أفضل بمرور الوقت ، ربما عن طريق اختيار كتل أفضل أو إجراء اتصالات أفضل. يتم تحديث الأوزان تحكم مع التدرج السياسة. يظهر الإعداد الكامل من النهاية إلى النهاية أدناه.

إنه نهج بديهي إلى حد ما! بعبارات بسيطة: خذ خوارزمية الاستيلاء على كتل مختلفة ووضع هذه الكتل معا لإنشاء شبكة. تدريب واختبار تلك الشبكة. استنادًا إلى نتائجك ، اضبط الكتل التي استخدمتها لإنشاء الشبكة وكيفية وضعها معًا!

جزء من السبب وراء نجاح هذه الخوارزمية والورقة توضح هذه النتائج العظيمة بسبب القيود والافتراضات المصاحبة لها. تم اكتشاف بنية NAS الهندسية واختبارها على مجموعة بيانات أصغر من العالم الحقيقي. يتم ذلك لأن التدريب على شيء كبير ، مثل ImageNet سيستغرق وقتا طويلا جدا. ولكن الفكرة هي أن الشبكة التي تعمل بشكل أفضل على مجموعة بيانات أصغر ، ولكنها منظمة بشكل مماثل ، يجب أن تحقق أداءً أفضل على مستوى أكبر وأكثر تعقيدًا ، والذي كان صحيحًا بشكل عام في عصر التعلم العميق.

ثانيًا ، أن مساحة البحث نفسها محدودة جدًا. تم تصميم NAS لبناء أبنية متشابهة جدًا في الأسلوب الحديث الحالي. للتعرف على الصور ، يجب أن يكون هناك مجموعة من الكتل المتكررة في الشبكة أثناء الاختزال التدريجي ، كما هو موضح في اليسار أدناه. كما أن مجموعة الكتل التي يمكن الاختيار من بينها لبناء مجموعات مكررة تستخدم بشكل شائع في البحث الحالي. الجزء الرئيسي الرواية من NAS اكتشف شبكات هو كيفية توصيل الكتل معا.

تحقق من أفضل الكتل والهيكل المكتشف لشبكة ImageNet على اليمين أدناه. من المثير للاهتمام أن نلاحظ كيف أنها تحتوي على مزيج عشوائي من العمليات ، بما في ذلك العديد من التكييفات القابلة للفصل.

التقدم في البحث عن العمارة
كانت ورقة NASNet تقدمية بشكل خيالي من حيث أنها قدمت اتجاهًا جديدًا لأبحاث التعلم العميق. لسوء الحظ ، كان غير فعال إلى حد كبير ولا يمكن الوصول إليه للمستخدم المشترك خارج Google. باستخدام 450 وحدة معالجة رسومية ، استغرق الأمر من 3 إلى 4 أيام من التدريب لإيجاد هذا العمارة الرائعة. وقد ركز الكثير من أحدث الأبحاث في NAS على جعل هذه العملية أكثر كفاءة.

يقترح البحث المعماري العصبي التقدمي (PNAS) استخدام ما يسمى إستراتيجية التحسين الأمثل القائمة على نموذج (SMBO) ، بدلاً من تعلم التعزيز المستخدم في شبكة NASNet. مع SMBO ، بدلاً من الاستيلاء العشوائي وتجربة الكتل من خارج المجموعة ، نقوم باختبار الكتل والبحث عن البنى من أجل زيادة التعقيد. لا يؤدي هذا إلى تقليص مساحة البحث ، ولكنه يجعل عملية البحث أكثر ذكاءً. تقول SMBO بشكل أساسي: بدلاً من تجربة كل شيء دفعة واحدة ، دعنا نبدأ بسيطًا ونصبح معقدًا فقط إذا احتجنا إليه. هذه الطريقة من PNAS هي أكثر كفاءة من 5 إلى 8 مرات (وبالتالي أقل تكلفة بكثير) من NAS الأصلية.

يعد البحث الفعال عن الهندسة العصبية (ENAS) بمثابة لقطة أخرى في محاولة جعل البحث في العمارة العامة أكثر كفاءة ، وهذه المرة يمكن استخدامها من قبل الممارس المتوسط ​​مع GPU. كانت فرضية المؤلفين هي أن الاختناق الحسابي لـ NAS هو تدريب كل نموذج على التقارب ، فقط لقياس دقة اختباره ثم التخلص من جميع الأوزان المدرَّبة.

لقد ظهر مرارًا في الأبحاث والممارسات أن نقل التعلم يساعد على تحقيق درجة عالية من الدقة في فترة زمنية قصيرة ؛ نظرًا لأن الشبكات المدربة لمهام متشابهة إلى حد ما تكتشف أوزانًا متشابهة ؛ نقل التعلم هو في الأساس مجرد نقل أوزان الشبكة. تفرض خوارزمية ENAS كل النماذج لمشاركة الأوزان بدلاً من التدريب من نقطة الصفر إلى التقارب. أي كتل سبق أن جربناها من قبل في نموذج سابق سيستخدم تلك الأوزان التي تم تعلمها مسبقًا. وبالتالي ، فنحن نحرص في الأساس على نقل التعلُّم في كل مرة نقوم فيها بتدريب نموذج جديد ، يتقارب بسرعة أكبر!

يوضح الجدول الوارد في الورقة مدى فعالية ENAS الأكثر فعالية ، نصف يوم من التدريب مع وحدة معالجة الرسوميات 1080Ti واحدة.

طريقة جديدة للقيام بالتعمق في التعلم: AutoML
كثير من الناس يدعون AutoML بالطريقة الجديدة للقيام بالتعلم العميق ، وهو تغيير في النظام بأكمله. بدلاً من تصميم الشبكات العميقة المعقدة ، سنقوم فقط بتشغيل خوارزمية NAS سابقة الإعداد. قامت Google مؤخرًا بأخذ ذلك إلى أقصى الحدود من خلال تقديم Cloud AutoML. ما عليك سوى تحميل بياناتك وستعثر لك خوارزمية NAS من Google على بنية سريعة وسهلة!

فكرة AutoML هي ببساطة تجريد كل الأجزاء المعقدة من التعلم العميق. كل ما تحتاجه هو البيانات. ما عليك سوى السماح لـ AutoML بتنفيذ الجزء الصعب من تصميم الشبكة! ثم يصبح التعلم العميق حرفيًا أداة المساعد مثل أي أداة أخرى. يمكنك الحصول على بعض البيانات وإنشاء وظيفة اتخاذ القرار تلقائيًا بدعم من شبكة عصبية معقدة.

يحقق Cloud AutoML سعرًا باهظًا قدره 20 دولارًا أمريكيًا ، وللأسف لا يمكنك تصدير نموذجك بعد تدريبه ؛ سيتعين عليك استخدام واجهة برمجة التطبيقات الخاصة به لتشغيل شبكتك على السحاب. هناك بعض البدائل الأخرى التي تكون مجانية تمامًا ، ولكنها تتطلب المزيد من العمل.

AutoKeras هو مشروع GitHub يستخدم خوارزمية ENAS. يمكن تثبيته باستخدام النقطة. نظرًا لأنه مكتوب في Keras ، من السهل جدًا التحكم فيه واللعب معه ، حتى يمكنك الغوص في خوارزمية ENAS ومحاولة إجراء بعض التعديلات. إذا كنت تفضل TensorFlow أو Pytorch ، فهناك أيضًا مشاريع الرموز العامة لهؤلاء هنا وهنا!

بشكل عام ، هناك العديد من الخيارات لاستخدام AutoML اليوم. يعتمد الأمر فقط على ما إذا كنت ستتلاعب بالخوارزمية التي تريدها والمبلغ الذي ترغب في دفعه للحصول على المزيد من الشفرات المستخرجة.

توقع مستقبلي لـ NAS و AutoML
من الرائع أن نرى الخطوات الكبيرة التي تحققت خلال السنوات القليلة الماضية في أتمتة التعلم العميق. يجعلها أكثر سهولة للمستخدمين والأعمال ؛ تصبح قوة التعلم العميق متاحة للجمهور بشكل عام. ولكن هناك دائمًا مجال للتحسين.

أصبح البحث عن العمارة أكثر فعالية بكثير ؛ العثور على شبكة مع GPU واحد في يوم واحد من التدريب كما هو الحال مع ENAS هو مدهش للغاية. ومع ذلك ، لا تزال مساحة البحث الخاصة بنا محدودة للغاية. لا تزال خوارزميات NAS الحالية تستخدم الهياكل والكتل المبنية التي تم تصميمها يدويًا ، لكنها جمعتهم بشكل مختلف!

قد يكون الاتجاه المستقبلي القوي والكبير محتملًا بحثًا أوسع نطاقاً بكثير ، للبحث عن معماريات حديثة. قد تكشف مثل هذه الخوارزميات أسرار تعلم عميقة أكثر خفية داخل هذه الشبكات الضخمة والمعقدة. بالطبع ، تتطلب مساحة البحث هذه تصميمًا فعالًا للخوارزمية.

يوفر هذا الاتجاه الجديد لـ NAS و AutoML تحديات مثيرة لمجتمع منظمة العفو الدولية ، وحقاً فرصة لتحقيق اختراق آخر في العلم.