假设检验是统计推断的又一类重要问题,在前面的文章中我们介绍了区间估计的内容,我们在区间估计中的结论都是在总体分布已知的情况下得到的,例如规定总体服从正态分布等,但在实际情况可能连分布都不知道。因此有的时候会提出一个假设,然后我们会抽样并采用统计学的方法去判断这个假设是否正确
考虑如下这种情形:
你去楼下的馒头店买馒头,老板说:我家的馒头很好吃,每天可以卖出100个,赶紧买一个尝尝吧!这时候你想,他每天真的可以卖这么多吗?为了判断馒头是否真的这么好吃,很简单的一个方法就是统计几天或者几十天卖出的馒头数量,如果卖出的数量都是十几个,那么我们一计算均值和100个相差很大,那么很自然的我们认为老板在撒谎,这家店每天卖不到100个馒头。
但是如果统计出来每天卖出的数量都是90多个,那么我们还能认为老板在撒谎吗?因每天卖出的馒头数是有波动的,会不会我们抽样的这些天里正好卖的少了一点呢?这时候就可以划分一个范围:如果误差比较小,可以设置在5个以内,比如统计结果平均每天卖出在95到105个之间,我们就可以认为这有可能是误差引起的,老板说的话是真的。同时我们也可以将误差区间设置为10个,20个等等,但是具体将区间设置为多少才合理呢?同时在这个区间内判断错误的概率有多少?这些数据需要一个量化的方法,告诉我们根据抽样出的馒头数量有多大的概率能判断老板的话可信或者不可信。这里我们就可以想到之前说到的区间估计原理https://blog.****.net/qq_42692386/article/details/142203585
想法有了之后,接下来我们用更严谨的数学语言和思路来解决这个问题。在这里会有一些经常用到的假设检验相关的定义和专有名词,请大家熟悉并理解。
馒头店问题的解决
原假设与备择假设
考虑我们之前说的买馒头的例子,对于老板的话我们知道只有真假两种可能,所以可以首先提出两个假设。
第一种假设我们称为原假设(也称为零假设,记为
H
0
H_0
H0),假设馒头店每天卖出的馒头数为100个,也就是老板说的是真的,那么用数学语言表述就是:总体均值为100,用数学符号表示为
H
0
:
μ
=
μ
0
=
100
H_0:\mu=\mu_0=100
H0:μ=μ0=100
对应的就是老板说的是假的,也就是馒头店每天卖出的馒头数不等于100个,这种原假设的对立情况称为备择假设(记为
H
1
H_1
H1),可表述为:
H
1
:
μ
≠
μ
0
H_1:\mu \neq \mu_0
H1:μ=μ0
可以看到原假设和备选假设相互对应,两者中有且仅有一个成立,如果有充分的理由认为原假设是错的话就采用备择假设,如果没有办法证明原假设是错的话就采用原假设。
这里有一个很容易忽略但是实际应用中经常会出现的问题:为什么原假设设置为每天卖出的馒头数为100个?也可以把原假设设置为每天卖出的馒头数不等于100个呀?大家可以抱着这个疑问看下去,在后面理解了假设检验的原理后我们会额外解释一下这个问题。
检验统计量
对于每天卖出的馒头数这一个问题,我们研究的对象是总体均值
μ
\mu
μ,我们知道样本均值
X
ˉ
\bar X
Xˉ是
μ
\mu
μ的无偏估计,抽取的样本均值一定程度上可以反映
μ
\mu
μ的大小,所以如果我们的假设
H
0
H_0
H0成立,也就是馒头店每天卖出的馒头数为100个,那么我们抽取的一个样本观测值
x
ˉ
\bar x
xˉ和100应该相差不远,即偏差
∣
x
ˉ
−
μ
0
∣
|\bar x-\mu_0|
∣xˉ−μ0∣不应当很大。假设现在我们现在知道总体方差
σ
2
\sigma^2
σ2(在不知道总体方差的情况下有另外的方法,在后续会介绍)并抽样取得了样本数量
n
n
n,考虑到之前说过的正态总体的样本均值与样本方差的分布里的这一个定理
X
ˉ
−
μ
0
σ
/
n
∼
N
(
0
,
1
)
\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)
σ/nXˉ−μ0∼N(0,1)
我们就知道可以使用这个统计量来计算估计
∣
x
ˉ
−
μ
0
∣
|\bar x-\mu_0|
∣xˉ−μ0∣,在方差
σ
\sigma
σ和样本量
n
n
n固定的情况下分母保持不变,这个统计量的大小就代表了误差
∣
x
ˉ
−
μ
0
∣
|\bar x-\mu_0|
∣xˉ−μ0∣的大小。给定一个值
k
k
k,如果
X
ˉ
−
μ
0
σ
/
n
≤
k
\frac{\bar X-\mu_0}{\sigma/\sqrt{n}} \le k
σ/nXˉ−μ0≤k就说明误差
∣
x
ˉ
−
μ
0
∣
|\bar x-\mu_0|
∣xˉ−μ0∣较小,接受假设
H
0
H_0
H0,否则就拒绝它,接受假设
H
1
H_1
H1
对原假设和备择假设做出决策的某个样本统计量,称为检验统计量,构造检验统计量通俗点说就是:针对不同的问题,用不同的计算方法和公式去做决策。
接下来的问题就是如何确定 k k k的值呢?
显著性水平与第一二类错误
之前我们说过假设检验是通过一个样本计算相关概率来判断提出的假设是否正确,因此我们是有可能会判断出错:当馒头店实际每天卖出了100个馒头时,但判断老板撒谎,也就是“冤枉好人”。同时也有可能是馒头店每天不能卖出了100个馒头,但是我们认为老板说的是真话,这种就是所谓的“放过坏人”。这对应统计学中两种错误:
第一类错误:当
H
0
H_0
H0为真时,我们拒绝了
H
0
H_0
H0,发生的概率为
α
α
α
第二类错误:当
H
0
H_0
H0为假时,我们却接受了
H
0
H_0
H0,发生的概率为
β
β
β
而显著性水平就是指一类错误的概率,通常显著性水平用
α
\alpha
α表示。也就是
P
(
H
0
为真时,我们拒绝了
H
0
)
=
P
μ
0
{
∣
X
ˉ
−
μ
0
σ
/
n
∣
≥
k
}
=
α
P(H_0为真时,我们拒绝了H_0)=P_{\mu_0}\left\{\left|\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\right|\ge k \right\}= \alpha
P(H0为真时,我们拒绝了H0)=Pμ0{
σ/nXˉ−μ0
≥k}=α
其中
P
μ
0
{
∙
}
P_{\mu_0}\{ \bullet \}
Pμ0{∙}表示参数
μ
\mu
μ取
μ
0
\mu_0
μ0,也这里就是原假设
H
0
H_0
H0为真时事件
{
∙
}
\{ \bullet \}
{∙}的概率,
很明显为了保证我们的判断与实际一致
α
\alpha
α应该取的很小,在统计学中,一般统计学中
α
\alpha
α可以取0.05或者0.01,它表示犯一类错误的概率为5%和1%。
根据之前得分析,原假设
H
0
H_0
H0为真时
Z
=
X
ˉ
−
μ
0
σ
/
n
∼
N
(
0
,
1
)
Z=\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)
Z=σ/nXˉ−μ0<