最优化，即给定一个函数，寻找给定集合中的一个元素，取得函数值最小化或最大化。常见的最优化问题里一般会出现s.t.这是subject to的缩写，受约束的意思。
在统计学里最基本也最负盛名的最优化应该是19世纪由Gauss提出的最小二乘估计（Least Squares estimation），它是使得方差最小的线性无偏估计。此处的最优化函数为均方误差和，在给定集合为全体线性无偏估计最小化均方误差和。20世纪初英国统计学家Fisher提出另一类参数估计的思想即极大似然法（Maximum-likelihood estimation）。这是给定参数空间，使得样本联合分布函数最大的最优化问题。极大似然法至今仍然是参数统计里最有份量的方法，它具有很多好的性质，比如说相合性、渐进性等。以上都是给定一个解空间然后探讨解的最优化。但直接从最优化手段出发可得到定性的结论，是由Neyman & Pearson研究假设检验时提出的，即在控制第一类错误的条件下，使得检验函数的功效最大。因此估计和检验作为统计中的两个基本问题，实际上对应了两类最优化应用的结果。
在现代统计学习中，几乎到处都是各种最优化方法，如SVM是用最大间隔法求解最优分类面的最优化问题，Boosting是调整样本的分布和选择弱学习机的权重来梯度减小损失函数的最优化问题，Lasso是把LS估计中把最优化目标变成最小化绝对值误差和。Newman的社团挖掘贪婪算法也使用了最优化方法。首先定义一个损失函数Q，其实就是模块度函数，可简单理解为两个社团内部的边数－连接两个社团之间的边数，这基于“社团内部联系越多越好，社团外部联系越少越少”的思想，那么社团挖掘问题（假设只是将网络划分为两个社团）即变成寻找划分办法使得Q值最大的过程。