کد متلب روش Conjugate Gradients برای بهینه سازی

"فرض کنیم F تابعی هموار ازRª→R باشد. یک روش معمول برای پیدا کردن مینیمم این تابع این است که با شروع از نقطه ی خاصی، در جهت های انتخاب شده ای حرکت کنیم و در هر مرحله، گامی چنان برداریم که به مقدار کمینه تابع روی آن راستا برسیم. یک روش ابتدایی این است که این جهت ها را در راستای منفی گرادیان F انتخاب کنیم که منجر به روشی موسوم به "Steepest Descent Method" میشود. اما این روش معمولا کارآیی بالایی ندارد، چرا که سریعا در دام مینیمم های موضعی می افتد و خیلی کند پیش می رود. استفاده از روش ارتقا یافته ای به نام "Conjugate Gradients Method" راه بهتری است. در این روش جهت هایی را پیش میگیریم که در آن ماندهها متعامد باشند (هر کدام از این دو واﮋه تعریف دقیق و مشخصی دارند.) هر تابع هموار در نزدیکی نقاط مینیمم موضعی، شبیه یک تابع quadratic با ماتریس هسیان (Hessian Matrix) مثبت معیین رفتار می کند. این بدان معنی است که اگرA وb- ضرایب مورد نیاز برای تعریف یک تابع quadratic- را می داشتیم می توانستیم از روش CG برای بهینه سازی استفاده کنیم. در نگاه اول به نظر می رسد که بدون داشتن ماتریس هسیان- که نقش A را بازی میکند- نمی توان CG را به کار برد. اما این مشکل رفع شدنی است. بررسی الگوریتم CG نشان می دهد که A در دو جا استفاده می شود. یکی در محاسبه ی گرادیان F و دیگری برای محاسبه ی گام حرکت در هر مرحله. مورد اول با به کارگیری روش خاصی حل شدنی است. برای دومی هم از روش های عددی برای مینیمم کردن مقدار F روی راستای خاص استفاده می کنیم. روش CG با این دو تغییرموسوم به روش Fletcher- Reeves می باشد."