$$$$

矩法

基本思想

设 $\{X_n\}$ 独立同分布且 $\mathbb{E}(X_n)$ 存在，则其 $r$ 阶原点矩^[1] $\{X_n^r\}$ 独立同分布且 $\mathbb{E}(X_n^r)$ 存在。由辛钦大数定律有

$$\mathrm{\forall }\epsilon >0,\underset{n\to \mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{i=1}^n{X}_i^r-\mathbb{E}(X^r)|<\epsilon )=1$$

当样本容量 $n$ 足够大时，${\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i^r$ 在 $\mathbb{E}(X^r)$ 附近的可能性就很大。

步骤

1. 计算总体分布的 $r$ 阶原点矩 $\mathbb{E}(X^r)$，得到含未知参数 $\theta$ 的表达式 $g_r(\theta )$；
2. 计算样本的 $r$ 阶原点矩 ${\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i^r$，得到统计量 $T_r$；
3. 解方程 $g_r(\hat{\theta })=T_r$ 得到估计量 $\hat{\theta }=h(X_1,X_2,\cdots ,X_n)$。

矩法估计量（矩估计量）$\hat{\theta }=h(X_1,X_2,\cdots ,X_n)$

矩法产生的估计量，也是一种统计量。

矩法估计值（矩估计值）$\hat{\theta }=h(x_1,x_2,\cdots ,x_n)$

矩法估计量的估计值。

INFO

若未知参数 $\theta$ 是高维向量，则需取多个不同的 $r$，构造一组方程 $\{g_r=T_r\}$，才能够解出全部的未知参数。

最大似然法

基本思想

让样本的观测值在参数空间中出现概率最大。

步骤

似然函数 $L(x_1,x_2,\cdots ,x_n;\theta )$^[2]，$L(\theta )$

当给定总体中的一个样本观测值 $(x_1,x_2,\cdots ,x_n)$ 时$$L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^n{f}_i(x_i;\theta )$$

• 当总体为离散型随机变量时，$f_i(x;\theta )=P(X_i=x)$；
• 当总体为连续型随机变量时，$f_i(x;\theta )=f_{X_i}(x)$ 为概率密度函数。

对数似然函数 $\ln L(\theta )$

似然函数取对数。将累乘转化为求和，方便计算。$$\ln L(x_1,x_2,\cdots ,x_n;\theta )=\sum _{i=1}^n\ln f_i(x_i;\theta )$$其中 $f_i$ 定义同似然函数。

最大似然估计值 $\hat{\theta }=\hat{\theta }(x_1,x_2,\cdots ,x_n)$

满足 $L(\hat{\theta })=\underset{\theta \in \mathrm{\Theta }}{max}L(\theta )$ 的估计值 $\hat{\theta }$。

求解最大似然估计值步骤：

1. 根据总体 $X$ 的分布 $f(x;\theta )$ 写出似然函数 $L(\theta )$；
2. 计算对数似然函数 $\ln L(\theta )$；
3. 求解似然方程 ${\displaystyle \frac{\mathrm{d}\ln L(\hat{\theta })}{\mathrm{d}\hat{\theta }}}=0$，得到极大值点 $\hat{\theta }$ 为最大似然估计值。

---

1. $r$ 阶原点矩：内部元素的 $r$ 次方的均值或期望。 ↩︎

2. $L(x_1,x_2,\cdots ,x_n;\theta )$：分号将函数的输入和参数隔开，表示其后的 $\theta$ 不作为函数输入，仅是运算过程中依赖的参数。 ↩︎