الگوریتم BP

قسمتی از متن :
شبکه های عصبی چند لایه پیش خور به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و ... مورد استفاده قرار گرفته است.
الگوریتم یادگیری پس انتشار خطا، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل می باشد و در چارچوب یادگیری عملکردی قرار می گیرد.
عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.
علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:
- الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.
- سرعت همگرایی الگوریتم BP، خیلی آهسته است.
از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.
در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.


فهرست مطالب :
مقدمه
خلاصه ای از الگوریتم BP
فرمول بندی الگوریتم BP
معایب الگوریتم استاندارد پس انتشار خطا1 (SBP)
بهبود الگوریتم استاندارد پس انتشار خطا (SBP)
الگوریتم BP از نوع دسته ای (BBP)
روش ممنتم برای الگوریتم BP (MBP)
نرخ یادگیری متغیر (VLR)
الگوریتم پس انتشار خطای تطبیقی (ABP)
الگوریتم پس انتشار خطا با نرخ یادگیری و ضریب ممنتم تطبیقی (BPALM)
تغییرات علامت
الگوریتم یادگیری Super SAB
الگوریتم پس انتشار خطا با سه ترم
آنالیز همگرایی
الگوریتم پس انتشار خطای بهبود پذیر (Rprop)
نتیجه گیری
مراجع