معرفی ده الگوریتم بهینه‌سازی گرادیان کاهشی تصادفی به همراه چیت‌شیت

الگوریتم‌های بهینه‌سازی گرادیان کاهشی تصادفی که برای یادگیری عمیق ضروری هستند (در وبلاگ نویسنده چیت‌شیتی از بهینه‌سازها از جمله RAdam قرار دارد) گرادیان کاهشی یک روش بهینه‌سازی است که به‌منظور یافتن کمینه‌ تابع زیان استفاده می‌شود. مدل‌های یادگیری عمیق برای به‌روزرسانی وزن‌ها طی پس‌انتشار، از این روش استفاده می‌کنند. هدف از این نوشتار، معرفی الگوریتم‌های […]