چکیده
بسیاری از مسائلی که در علم آمار با آن‌ها سر و کار داریم از برآورد میانگین و واریانس یک جامعه گرفته تا پیش‌بینی با خط رگرسیون، ، در حقیقت نمونه‌هایی از یک مسئله «بهینه‌سازی» به شمار می‌آیند. هدف اصلی بهینه‌سازی در آمار آن است که «خطای مدل به کمترین مقدار ممکن کاهش یابد» یا «احتمال درستی نتایج و برازش مدل به بیشترین حد ممکن افزایش پیدا کند». در گذشته، پاسخ بسیاری از این مسائل با فرمول‌های مستقیم و ساده ریاضی به دست می‌آمد؛ اما با بزرگ شدن حجم داده‌ها، افزایش ابعاد و پیچیده‌تر شدن روابط میان متغیرها، دیگر نمی‌توان همه چیز را تنها با قلم و کاغذ و محاسبات تحلیلی حل کرد. این مقاله با زبانی ساده و به دور از پیچیدگی‌های سنگین ریاضی، مفاهیم پایه‌ای بهینه‌سازی، الگوریتم‌های رایج (مانند گرادیان کاهشی و روش نیوتن) و کاربردهای ملموس آن‌ها در مدل‌های آماری را همراه با ارجاع به منابع معتبر علمی بررسی می‌نماید. در پایان، مزایا، محدودیت‌ها و چشم‌اندازهای این روش‌ها جمع‌بندی می‌شود.