什么是MLE 2011-08-15

三句话就够了:对于确定的一族分布,可以将观测数据代入概率公式并观察概率如何依赖于未知参数。观测数据出现的概率是未知参数的函数,此函数称为似然函数。使得观测数据出现概率最大的参数值,一般就是似然函数的极值点,也就是参数的极大似然估计(MLE)。

设蓝箱中有99个蓝球,1个红球;红箱中有1个蓝球,99个红球。现随机从某箱取出一球,结果是红球,我们自然相信这个红球是取自红箱的,这就是极大似然的想法。在极大似然准则下,认为样本来自使样本出现概率最大的总体,其核心思想就在于“模型给定,用样本估计参数”。

极大似然估计有优良的渐近性质,以及有偏性。极大似然不是无偏的,这非常重要。考虑这样一个例子,标有1到n的n张票放在一个盒子中。从盒子中随机抽取票。如果n是未知的话,那么n的最大似然估计值就是抽出所有票中最大的n,尽管其矩估计只有所有票上标号的均值。为了估计出最高的n值,我们能确定的只能是n值不小于抽出来的票上的值。

但极大似然只考虑了由一个模型产生一个已知数据集的概率,而不考虑模型本身的概率。相对应的则如果考虑了模型本身概率的方法,就是所谓贝叶斯方法,他们是一脉相承的。



Powered by Jekyll on GitHub | ©2016 Meroa | Last modified: 2018-03-22