适用：数一、数三通用
地位：数理统计的核心内容，直接支撑假设检验、区间估计
核心任务：理解抽样分布，掌握矩估计与最大似然估计
总体：
研究对象的全体称为总体，记作 $X$。
样本：
从总体中随机抽取的 $n$ 个个体 $X_1,X_2,\cdots,X_n$ 称为样本。
简单随机样本：
若 $X_1,X_2,\cdots,X_n$ 满足：
则称为简单随机样本。
样本值：
样本的具体观测值记作 $x_1,x_2,\cdots,x_n$。
注意：
定义：
不含未知参数的样本函数称为统计量。
常用统计量：
（1）样本均值：
$$ \bar{X}=\frac1n\sum_{i=1}^nX_i $$
（2）样本方差：
$$ S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2 $$
（3）样本标准差：
$$ S=\sqrt{S^2} $$
（4）样本 $k$ 阶原点矩：
$$ A_k=\frac1n\sum_{i=1}^nX_i^k $$
（5）样本 $k$ 阶中心矩：
$$ B_k=\frac1n\sum_{i=1}^n(X_i-\bar{X})^k $$
（6）样本极差：
$$ R=\max{X_i}-\min{X_i} $$
重要结论：
$$ \sum_{i=1}^n(X_i-\bar{X})^2 =\sum_{i=1}^nX_i^2-n\bar{X}^2 $$
（1）$\chi^2$ 分布：
设 $X_1,X_2,\cdots,X_n$ 相互独立，且都服从 $N(0,1)$，则
$$ \chi^2=X_1^2+X_2^2+\cdots+X_n^2 $$
服从自由度为 $n$ 的 $\chi^2$ 分布，记作
$$ \chi^2\sim\chi^2(n) $$
性质：
$$ E(\chi^2)=n $$
$$ D(\chi^2)=2n $$
可加性：
若 $\chi_1^2\sim\chi^2(n_1)$，$\chi_2^2\sim\chi^2(n_2)$，且相互独立，则
$$ \chi_1^2+\chi_2^2\sim\chi^2(n_1+n_2) $$
（2）$t$ 分布：
设 $X\sim N(0,1)$，$Y\sim\chi^2(n)$，且 $X$、$Y$ 相互独立，则
$$ t=\frac{X}{\sqrt{Y/n}} $$
服从自由度为 $n$ 的 $t$ 分布，记作
$$ t\sim t(n) $$
性质：
（3）$F$ 分布：
设 $X\sim\chi^2(m)$，$Y\sim\chi^2(n)$，且 $X$、$Y$ 相互独立，则
$$ F=\frac{X/m}{Y/n} $$
服从自由度为 $(m,n)$ 的 $F$ 分布，记作
$$ F\sim F(m,n) $$
性质：
设 $X_1,X_2,\cdots,X_n$ 是来自正态总体 $N(\mu,\sigma^2)$ 的样本。
（1）样本均值：
$$ \bar{X}\sim N\left(\mu,\frac{\sigma^2}{n}\right) $$
标准化：
$$ \frac{\bar{X}-\mu}{\sigma/\sqrt n}\sim N(0,1) $$
（2）样本方差：
$$ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) $$
（3）$\bar{X}$ 与 $S^2$ 独立：
$$ \bar{X}\text{ 与 }S^2\text{ 相互独立} $$
（4）$t$ 统计量：
$$ \frac{\bar{X}-\mu}{S/\sqrt n}\sim t(n-1) $$
（5）两个正态总体：
设 $X\sim N(\mu_1,\sigma_1^2)$，$Y\sim N(\mu_2,\sigma_2^2)$，且相互独立。
$$ \frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)} {\sqrt{\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n}}} \sim N(0,1) $$
当 $\sigma_1^2=\sigma_2^2=\sigma^2$ 时：
$$ \frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)} {S_w\sqrt{\frac1m+\frac1n}} \sim t(m+n-2) $$
其中：
$$ S_w^2=\frac{(m-1)S_1^2+(n-1)S_2^2}{m+n-2} $$
（6）$F$ 统计量：
$$ \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(m-1,n-1) $$
点估计：
设 $\theta$ 为总体分布的未知参数，用样本构造一个统计量 $\hat\theta$ 作为 $\theta$ 的估计，称为点估计。
估计量：
$\hat\theta$ 称为 $\theta$ 的估计量。
估计值：
代入样本值后得到的数值称为估计值。
基本思想：
用样本矩估计总体矩。
步骤：
$$ E(X)=\bar{X} $$
$$ E(X^2)=A_2 $$
常用情形：
一个参数：
$$ E(X)=\bar{X} $$
两个参数：
$$ \begin{cases} E(X)=\bar{X}\ E(X^2)=A_2 \end{cases} $$
或：
$$ \begin{cases} E(X)=\bar{X}\ D(X)=B_2 \end{cases} $$
基本思想：
选择使样本出现概率最大的参数值作为估计。
似然函数：
离散型：
$$ L(\theta)=\prod_{i=1}^nP(X_i=x_i;\theta) $$
连续型：
$$ L(\theta)=\prod_{i=1}^nf(x_i;\theta) $$
对数似然函数：
$$ \ln L(\theta)=\sum_{i=1}^n\ln P(X_i=x_i;\theta) $$
或：
$$ \ln L(\theta)=\sum_{i=1}^n\ln f(x_i;\theta) $$
最大似然估计：
求 $\theta$ 使 $L(\theta)$ 最大，即求 $\ln L(\theta)$ 最大。
步骤：
$$ \frac{d\ln L(\theta)}{d\theta}=0 $$
注意：
（1）无偏性：
若
$$ E(\hat\theta)=\theta $$
则称 $\hat\theta$ 为 $\theta$ 的无偏估计。
重要结论：
$$ E(\bar{X})=\mu $$
$$ E(S^2)=\sigma^2 $$
（2）有效性：
若 $\hat\theta_1$、$\hat\theta_2$ 都是 $\theta$ 的无偏估计，且
$$ D(\hat\theta_1)<D(\hat\theta_2) $$
则称 $\hat\theta_1$ 比 $\hat\theta_2$ 有效。
（3）一致性：
若
$$ \hat\theta\xrightarrow{P}\theta $$
则称 $\hat\theta$ 为 $\theta$ 的一致估计。
（1）正态总体 $N(\mu,\sigma^2)$：
（2）二项分布 $B(1,p)$：
（3）泊松分布 $P(\lambda)$：
（4）均匀分布 $U(0,\theta)$：
（5）指数分布 $E(\lambda)$：
样本均值：
$$ \bar{X}=\frac1n\sum_{i=1}^nX_i $$
样本方差：
$$ S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2 $$
抽样分布：
$$ \bar{X}\sim N\left(\mu,\frac{\sigma^2}{n}\right) $$
$$ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) $$
$$ \frac{\bar{X}-\mu}{S/\sqrt n}\sim t(n-1) $$
矩估计：
$$ E(X)=\bar{X} $$
最大似然估计：
$$ \frac{d\ln L(\theta)}{d\theta}=0 $$
例1
设 $X_1,X_2,\cdots,X_5$ 是来自总体 $X$ 的样本，样本值为 $1,2,3,4,5$，求 $\bar{X}$、$S^2$。
解：
$$ \bar{X}=\frac{1+2+3+4+5}{5}=3 $$
$$ S^2=\frac{1}{5-1}\sum_{i=1}^5(X_i-3)^2 $$
$$ =\frac14[(1-3)^2+(2-3)^2+(3-3)^2+(4-3)^2+(5-3)^2] $$
$$ =\frac14[4+1+0+1+4]=\frac{10}{4}=2.5 $$
例2
设 $X_1,X_2,\cdots,X_n$ 是来自 $N(\mu,\sigma^2)$ 的样本，求 $E(\bar{X})$、$D(\bar{X})$。
解：
$$ E(\bar{X})=E\left(\frac1n\sum X_i\right)=\frac1n\sum E(X_i)=\mu $$
$$ D(\bar{X})=D\left(\frac1n\sum X_i\right)=\frac{1}{n^2}\sum D(X_i)=\frac{\sigma^2}{n} $$
例3
设 $X_1,X_2,\cdots,X_{10}$ 是来自 $N(0,1)$ 的样本，求 $\sum_{i=1}^{10}X_i^2$ 的分布。
解：
$$ \sum_{i=1}^{10}X_i^2\sim\chi^2(10) $$
例4
设 $X\sim N(0,1)$，$Y\sim\chi^2(5)$，且 $X$、$Y$ 独立，求 $\dfrac{X}{\sqrt{Y/5}}$ 的分布。
解：
$$ \frac{X}{\sqrt{Y/5}}\sim t(5) $$
例5
设 $X\sim\chi^2(3)$，$Y\sim\chi^2(5)$，且 $X$、$Y$ 独立，求 $\dfrac{X/3}{Y/5}$ 的分布。
解：
$$ \frac{X/3}{Y/5}\sim F(3,5) $$
例6
设 $X_1,X_2,\cdots,X_{16}$ 是来自 $N(1,4)$ 的样本，求 $\bar{X}$ 的分布。
解：
$$ \bar{X}\sim N\left(1,\frac{4}{16}\right)=N\left(1,\frac14\right) $$
例7
设 $X_1,X_2,\cdots,X_{10}$ 是来自 $N(\mu,\sigma^2)$ 的样本，求 $\dfrac{9S^2}{\sigma^2}$ 的分布。
解：
$$ \frac{(n-1)S^2}{\sigma^2}=\frac{9S^2}{\sigma^2}\sim\chi^2(9) $$
例8
设 $X_1,X_2,\cdots,X_{16}$ 是来自 $N(\mu,\sigma^2)$ 的样本，求 $\dfrac{\bar{X}-\mu}{S/4}$ 的分布。
解：
$$ \frac{\bar{X}-\mu}{S/\sqrt{16}}=\frac{\bar{X}-\mu}{S/4}\sim t(15) $$
例9
设总体 $X\sim B(1,p)$，$X_1,\cdots,X_n$ 为样本，求 $p$ 的矩估计。
解：
$$ E(X)=p $$
令：
$$ E(X)=\bar{X} $$
$$ p=\bar{X} $$
所以：
$$ \hat p=\bar{X} $$
例10
设总体 $X\sim P(\lambda)$，$X_1,\cdots,X_n$ 为样本，求 $\lambda$ 的矩估计。
解：
$$ E(X)=\lambda $$
令：
$$ E(X)=\bar{X} $$
$$ \lambda=\bar{X} $$
所以：
$$ \hat\lambda=\bar{X} $$
例11
设总体 $X\sim U(0,\theta)$，$X_1,\cdots,X_n$ 为样本，求 $\theta$ 的矩估计。
解：
$$ E(X)=\frac{\theta}{2} $$
令：
$$ E(X)=\bar{X} $$
$$ \frac{\theta}{2}=\bar{X} $$
$$ \theta=2\bar{X} $$
所以：
$$ \hat\theta=2\bar{X} $$
例12
设总体 $X\sim E(\lambda)$，$X_1,\cdots,X_n$ 为样本，求 $\lambda$ 的矩估计。
解：
$$ E(X)=\frac1\lambda $$
令：
$$ E(X)=\bar{X} $$
$$ \frac1\lambda=\bar{X} $$
$$ \lambda=\frac1{\bar{X}} $$
所以：
$$ \hat\lambda=\frac1{\bar{X}} $$
例13
设总体 $X\sim N(\mu,\sigma^2)$，$X_1,\cdots,X_n$ 为样本，求 $\mu$、$\sigma^2$ 的矩估计。
解：
$$ E(X)=\mu $$
$$ D(X)=\sigma^2 $$
令：
$$ E(X)=\bar{X} $$
$$ D(X)=B_2=\frac1n\sum(X_i-\bar{X})^2 $$
所以：
$$ \hat\mu=\bar{X} $$
$$ \hat\sigma^2=\frac1n\sum(X_i-\bar{X})^2 $$
例14
设总体 $X\sim B(1,p)$，$X_1,\cdots,X_n$ 为样本，求 $p$ 的最大似然估计。
解：
似然函数：
$$ L(p)=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i} =p^{\sum x_i}(1-p)^{n-\sum x_i} $$
取对数：
$$ \ln L(p)=\sum x_i\ln p+(n-\sum x_i)\ln(1-p) $$
求导：
$$ \frac{d\ln L}{dp}=\frac{\sum x_i}{p}-\frac{n-\sum x_i}{1-p}=0 $$
解得：
$$ \hat p=\frac{\sum x_i}{n}=\bar{X} $$
例15
设总体 $X\sim P(\lambda)$，$X_1,\cdots,X_n$ 为样本，求 $\lambda$ 的最大似然估计。
解：
似然函数：
$$ L(\lambda)=\prod_{i=1}^n\frac{\lambda^{x_i}}{x_i!}e^{-\lambda} =\frac{\lambda^{\sum x_i}}{\prod x_i!}e^{-n\lambda} $$
取对数：
$$ \ln L(\lambda)=\sum x_i\ln\lambda-n\lambda-\ln\prod x_i! $$
求导：
$$ \frac{d\ln L}{d\lambda}=\frac{\sum x_i}{\lambda}-n=0 $$
解得：
$$ \hat\lambda=\frac{\sum x_i}{n}=\bar{X} $$
例16
设总体 $X\sim U(0,\theta)$，$X_1,\cdots,X_n$ 为样本，求 $\theta$ 的最大似然估计。
解：
似然函数：
$$ L(\theta)= \begin{cases} \dfrac{1}{\theta^n}, & 0\le x_i\le\theta\ 0, & \text{其他} \end{cases} $$
要使 $L(\theta)$ 最大，$\theta$ 应尽可能小，但必须满足 $\theta\ge\max{x_i}$。
所以：
$$ \hat\theta=\max{X_i} $$
例17
设总体 $X\sim E(\lambda)$，$X_1,\cdots,X_n$ 为样本，求 $\lambda$ 的最大似然估计。
解：
似然函数：
$$ L(\lambda)=\prod_{i=1}^n\lambda e^{-\lambda x_i} =\lambda^ne^{-\lambda\sum x_i} $$
取对数：
$$ \ln L(\lambda)=n\ln\lambda-\lambda\sum x_i $$
求导：
$$ \frac{d\ln L}{d\lambda}=\frac n\lambda-\sum x_i=0 $$
解得：
$$ \hat\lambda=\frac{n}{\sum x_i}=\frac1{\bar{X}} $$
例18
设总体 $X\sim N(\mu,\sigma^2)$，$X_1,\cdots,X_n$ 为样本，求 $\mu$、$\sigma^2$ 的最大似然估计。
解：
似然函数：
$$ L(\mu,\sigma^2)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}} $$
取对数：
$$ \ln L=-\frac n2\ln(2\pi)-\frac n2\ln\sigma^2-\frac{1}{2\sigma^2}\sum(x_i-\mu)^2 $$
对 $\mu$ 求偏导：
$$ \frac{\partial\ln L}{\partial\mu}=\frac{1}{\sigma^2}\sum(x_i-\mu)=0 $$
解得：
$$ \hat\mu=\bar{X} $$
对 $\sigma^2$ 求偏导：
$$ \frac{\partial\ln L}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum(x_i-\mu)^2=0 $$
解得：
$$ \hat\sigma^2=\frac1n\sum(X_i-\bar{X})^2 $$
例19
设 $X_1,\cdots,X_n$ 是来自 $N(\mu,\sigma^2)$ 的样本，证明 $\bar{X}$ 是 $\mu$ 的无偏估计。
证明：
$$ E(\bar{X})=E\left(\frac1n\sum X_i\right)=\frac1n\sum E(X_i)=\mu $$
所以 $\bar{X}$ 是 $\mu$ 的无偏估计。
例20
设 $X_1,\cdots,X_n$ 是来自 $N(\mu,\sigma^2)$ 的样本，证明 $S^2$ 是 $\sigma^2$ 的无偏估计。
证明：
$$ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) $$
所以：
$$ E\left(\frac{(n-1)S^2}{\sigma^2}\right)=n-1 $$
$$ E(S^2)=\sigma^2 $$
所以 $S^2$ 是 $\sigma^2$ 的无偏估计。
例21
设 $X_1,\cdots,X_n$ 是来自 $N(\mu,\sigma^2)$ 的样本，比较 $\bar{X}$ 和 $X_1$ 作为 $\mu$ 的估计的有效性。
解：
$$ D(\bar{X})=\frac{\sigma^2}{n} $$
$$ D(X_1)=\sigma^2 $$
因为：
$$ \frac{\sigma^2}{n}<\sigma^2 $$
所以 $\bar{X}$ 比 $X_1$ 更有效。
例22
设总体 $X$ 的密度为
$$ f(x)= \begin{cases} \frac{\theta}{x^{\theta+1}}, & x>1\ 0, & x\le1 \end{cases} $$
$X_1,\cdots,X_n$ 为样本，求 $\theta$ 的矩估计和最大似然估计。
解：
矩估计：
$$ E(X)=\int_1^{+\infty}x\cdot\frac{\theta}{x^{\theta+1}}dx =\theta\int_1^{+\infty}x^{-\theta}dx =\frac{\theta}{\theta-1} $$
令：
$$ \frac{\theta}{\theta-1}=\bar{X} $$
解得：
$$ \hat\theta=\frac{\bar{X}}{\bar{X}-1} $$
最大似然估计：
似然函数：
$$ L(\theta)=\prod_{i=1}^n\frac{\theta}{x_i^{\theta+1}} =\frac{\theta^n}{\prod x_i^{\theta+1}} $$
取对数：
$$ \ln L=n\ln\theta-(\theta+1)\sum\ln x_i $$
求导：
$$ \frac{d\ln L}{d\theta}=\frac n\theta-\sum\ln x_i=0 $$
解得：
$$ \hat\theta=\frac{n}{\sum\ln X_i} $$
例23
设总体 $X\sim N(\mu,1)$，$X_1,\cdots,X_n$ 为样本，求 $\mu$ 的最大似然估计。
解：
似然函数：
$$ L(\mu)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}}e^{-\frac{(x_i-\mu)^2}{2}} $$
取对数：
$$ \ln L=-\frac n2\ln(2\pi)-\frac12\sum(x_i-\mu)^2 $$
对 $\mu$ 求导：
$$ \frac{d\ln L}{d\mu}=\sum(x_i-\mu)=0 $$
解得：
$$ \hat\mu=\bar{X} $$
例24
设 $X_1,\cdots,X_n$ 是来自 $B(1,p)$ 的样本，求 $p$ 的矩估计和最大似然估计，并判断是否为无偏估计。
解：
$$ \hat p=\bar{X} $$
$$ E(\hat p)=E(\bar{X})=p $$
所以 $\hat p$ 是 $p$ 的无偏估计。
错误。
$$ S^2=\frac{1}{n-1}\sum(X_i-\bar{X})^2 $$
$$ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) $$
自由度是 $n-1$，不是 $n$。
先取对数，再求导。
令导数为零，解出参数。
$$ U(0,\theta):\quad\hat\theta=\max{X_i} $$
$$ E(\hat\theta)=\theta $$
$$ D(\hat\theta_1)<D(\hat\theta_2) $$
正态总体下，$\bar{X}$ 与 $S^2$ 相互独立。
抽样分布要求总体为正态分布。
注意参数的取值范围。
常见形式：
处理方法：
常见形式：
处理方法：
常见形式：
$$ \hat\theta=? $$
处理方法：
常见形式：
$$ \hat\theta=? $$
处理方法：
常见形式：
处理方法：
常见形式：
处理方法：
样本均值：
$$ \bar{X}=\frac1n\sum_{i=1}^nX_i $$
样本方差：
$$ S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar{X})^2 $$
抽样分布：
$$ \bar{X}\sim N\left(\mu,\frac{\sigma^2}{n}\right) $$
$$ \frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1) $$
$$ \frac{\bar{X}-\mu}{S/\sqrt n}\sim t(n-1) $$
$\chi^2$ 分布：
$$ E(\chi^2)=n,\quad D(\chi^2)=2n $$
$t$ 分布：
$$ E(t)=0,\quad D(t)=\frac{n}{n-2} $$
$F$ 分布：
$$ \frac1F\sim F(n,m) $$
矩估计：
$$ E(X)=\bar{X} $$
最大似然估计：
$$ \frac{d\ln L(\theta)}{d\theta}=0 $$
常用估计：
$$ B(1,p):\quad\hat p=\bar{X} $$
$$ P(\lambda):\quad\hat\lambda=\bar{X} $$
$$ U(0,\theta):\quad\hat\theta=\max{X_i} $$
$$ E(\lambda):\quad\hat\lambda=\frac1{\bar{X}} $$
$$ N(\mu,\sigma^2):\quad\hat\mu=\bar{X},\quad\hat\sigma^2=\frac1n\sum(X_i-\bar{X})^2 $$
无偏性：
$$ E(\hat\theta)=\theta $$
有效性：
$$ D(\hat\theta_1)<D(\hat\theta_2) $$
一致性：
$$ \hat\theta\xrightarrow{P}\theta $$
口诀：
样本均值方差记，分母 $n-1$ 无偏；
抽样分布三兄弟，$\chi^2$、$t$、$F$ 要分清；
矩估计用样本矩，最大似然取对数；
无偏有效一致性，估计量评价三标准。
评论专区
评论加载中...登录后即可发表评论