三句话就够了：对于确定的一族分布，可以将观测数据代入概率公式并观察概率如何依赖于未知参数。观测数据出现的概率是未知参数的函数，此函数称为似然函数。使得观测数据出现概率最大的参数值，一般就是似然函数的极值点，也就是参数的极大似然估计(MLE)。
设蓝箱中有99个蓝球，1个红球；红箱中有1个蓝球，99个红球。现随机从某箱取出一球，结果是红球，我们自然相信这个红球是取自红箱的，这就是极大似然的想法。在极大似然准则下，认为样本来自使样本出现概率最大的总体，其核心思想就在于“模型给定，用样本估计参数”。
极大似然估计有优良的渐近性质，以及有偏性。极大似然不是无偏的，这非常重要。考虑这样一个例子，标有1到n的n张票放在一个盒子中。从盒子中随机抽取票。如果n是未知的话，那么n的最大似然估计值就是抽出所有票中最大的n，尽管其矩估计只有所有票上标号的均值。为了估计出最高的n值，我们能确定的只能是n值不小于抽出来的票上的值。
但极大似然只考虑了由一个模型产生一个已知数据集的概率，而不考虑模型本身的概率。相对应的则如果考虑了模型本身概率的方法，就是所谓贝叶斯方法，他们是一脉相承的。