最大似然估计（MLE）

• 概念

已知实验结果（即样本）的情况下，用来估计满足这些样本的分布参数，把可能性最大的参数 θ 作为 θ∗ 的参数估计

• 思想

已知某个参数能使这样的样本出现概率最大，我们当然不会选择小概率样本，所以干脆把这个参数作为估计的真实值

• 理解

Machine Learning 中有很多地方用到Likelyhood of the parameters, 并假设m 训练样本独立分布,则最大似然估计 = 所有样本发生概率的乘积

logistic 回归中：
L(θ)=p(y⃗ |X;θ)=∏i=0np(y(i)|x(i);θ)