ما هو الفرق بين الموت ريلو وتشبع وظيفة التنشيط السيني؟


الاجابه 1:

لدي نفس السؤال منذ دقائق (وكنت في الواقع أذهب إلى هذا السؤال ونقرت على صفحتك بحثًا عن إجابة ؛ P

الآن ، اسمحوا لي أن أشارككم فهمي بعد قراءة هذه الشرائح: http: //cs231n.stanford.edu/slide ... (cs231n الشهيرة)

  1. تواجه ReLU نفس مشكلة التشبع عندما تكون في المنطقة السلبية ، ما يسمى بـ "ReLU المحتضرين" و "تشبع السيني / التانه" هما نفس المشكلة: نظرًا لتدرج الصفر ، لم تعد الأوزان محدثة ، وبالتالي فإن وظيفة التنشيط تحافظ على تدرجها الصفري ، وبالتالي تموت الخلايا العصبية. يوصى في الغالب لأن RELU أسرع بكثير من السيني / التانه (وليس له الأس). والفرق بينهما هو أن ReLU يموت بسبب أوزان صغيرة جدًا (يمكن أن يؤدي التدرج الكبير لإخراج الخلايا العصبية إلى جعله حديثًا الأوزان المحدثة صغيرة للغاية) ، بحيث يتم حظرها بحد أقصى (0 ، -) ولم تعد محدثة ؛ في حين أن التشبع يمكن أن يؤدي إلى إما أن يكون العدد كبيرًا جدًا أو صغيرًا جدًا (لذلك يجب أن تكون تهيئة الأوزان حذرة نظرًا لأن الأوزان الأولية الكبيرة جدًا تقتل التدرجات مباشرةً).

آمل أن يكون هذا يمكن أن يساعد ؛)

(لكنني لا أضمن صحتها ، إنها مجرد فهم شخصي!)