最大似然估计

• • • • 最大似然(likelihood)原理
      • 最大似然法的基本思想
      • 最大似然估计法的模型

最大似然(likelihood)原理

假设一个随机试验，有若干可能结果 A1,A2,A3,... $A_1,A_2,A_3,...$
如果只进行一次实验，而结果 Ak $A_k$出现了，那么我们就认为实验的条件对结果 Ak $A_k$的出现最有利。即实验出现的结果 Ak $A_k$的概率最大

最大似然法的基本思想

对于已经出现的样本值 x1,x2,x3,... $x_1,x_2,x_3,...$，适当的选取参数 θ $\theta$，使实验得出结果 X1=x1,X2=x2,X3=x3,... $X_1=x_1,X_2=x_2,X_3=x_3,...$的概率最大

最大似然估计法的模型

设总体X为离散型随机变量，分布律为

P{X=x}=p(x;θ) $$P\left\{X=x\right\}=p\left(x;\theta \right)$$

其中 θ $\theta$ 是未知参数， X1,X2,X3,... $X_1,X_2,X_3,...$ 是来自总体 X $X$ 的样本， x1,x2,x3,... $x_1,x_2,x_3,...$ 是一组样本值。记

L(θ)=P{X1=x1,X2=x2,...,Xn=xn} $$L\left(\theta \right)=P\left\{X_1=x_1,X_2=x_2,...,X_n=x_n\right\}$$

满足独立同分布的情况下上式等于

L(θ)=∏i=1nP{Xi=xi}=∏i=1nP{xi;θ} $$L\left(\theta \right)=\underset{i=1}{\overset{n}{\prod }}P\left\{X_i=x_i\right\}=\underset{i=1}{\overset{n}{\prod }}P\left\{x_i;\theta \right\}$$

称 L(θ) $L\left(\theta \right)$ 为样本 x1,x2,x3,... $x_1,x_2,x_3,...$ 的似然函数。
由于 x1,x2,x3,... $x_1,x_2,x_3,...$ 是已经知道的，因此上述 L(θ) $L\left(\theta \right)$ 是关于 θ $\theta$ 的一元函数。
由于 L(θ) $L\left(\theta \right)$ 是事件 {X1=x1,X2=x2,...,Xn=xn} $\left\{X_1=x_1,X_2=x_2,...,X_n=x_n\right\}$ 的概率，由最大似然函数的思想，希望求出的这样的 θ̂  $\hat{\theta }$ ,使得 L(θ̂ ) $L\left(\hat{\theta }\right)$ 达到 L(θ) $L\left(\theta \right)$ 的最大值