在$MLR.5$ 同方差假设中,满足:
$$
Var(u|x_1,x_2,…,x_k)=\sigma^2
$$
现实世界中方差未必恒定相等,于是引出异方差:

异方差($Heteroscedasticity$)

$$
Var(u|x_1,x_2,…,x_k)=\sigma_i^2
$$

异方差的影响

在异方差的条件下,$OLS$估计量依然是无偏与一致的,这是因为我们之前对无偏性的证明中仅仅用到了$MLR.1-MLR.4$。但是$OLS$不再是最优线性无偏估计值($BLUE$),即$OLS$未必是方差最小的估计量。同时,$Var(\hat{\beta_j})$有偏,$F$统计量与 $t$ 统计量也不再服从对应分布。

异方差-稳健推断($Heteroscedasticity-robust\ inference $)

在异方差的条件下,对于一元回归,可以同理前文方法得到:
$$
Var(\hat{\beta_1})=\frac{\sum_{i=1}^n(x_i-\bar{x})^2\sigma_i^2}{SST_x^2}
$$
因此我们需要一种估计方法解决$\sigma_i$的估计问题,估计方法如下:
$$
Var(u|x_1,x_2,…,x_K)=\sigma_i^2
$$

$$
\hat{Var}(\hat{\beta_j})=\frac{\sum_{i=1}^n \hat{r}{ij}^2\hat{u}{i}^2}{SSR_j^2}
$$

其中$\hat{r}_{ij}$表示将$x_j$对所有其他自变量做回归所得到地第$i$个残差,$SSR_j$则是这个回归的残差平方和。而$\sqrt{\hat{Var}(\hat{\beta_j})}$ 则称为异方差—稳健的标准误

对异方差性的检验

布罗施—帕甘检验

假设同方差,则:
$$
H_0: Var(u|x_1,x_2,…,x_k)=\sigma^2=E(u^2)
$$
为了检验$E(u^2)=\sigma^2$是否成立,可以假定线性函数:
$$
u^2=\delta_0+\delta_1x_1+\delta_2x_2+…+\delta_kx_k+v
$$
则同方差的原假设为:
$$
H_0: \delta_1=\delta_2=…=\delta_k=0
$$
对此,可以使用$F$统计量进行检验。

怀特检验

$$
\hat{u}^2=\delta_0+\delta_1x_1+\delta_2x_2+\delta_3x_3++\delta_4x_1^2+\delta_5x_2^2+\delta_6x_3^2+\delta_7x_1x_2+\delta_8x_1x_3+\delta_9x_2x_3+error
$$

$$
H_0: \delta_1=\delta_2=…=\delta_9=0
$$

使用$F$检验:$F \sim F_{k,n-k-1}$

怀特检验的缺陷

需要使用大量的变量,会用掉很多的自由度。

一个解决方法:

已知:
$$
\hat{y_i}=\hat{\beta_0}+\hat{\beta_1}x_{i1}+\hat{\beta_2}x_{i2}+…+\hat{\beta_k}x_{ik}
$$
我们通过估计方程:
$$
\hat{u}^2=\delta_0+\delta_1\hat{y}+\delta_2\hat{y}^2+误差项
$$
这样$\hat{y}^2$的展开式中就包含了自变量的平方项和交叉乘积项。

故我们只需要进行原假设:
$$
H_0: \delta_1=0 ,\delta_2=0
$$

加权最小二乘估计

假设除了一个常数倍数($\sigma^2$)以外,异方差是可知的:

$$
Var(u_i|x_i)=\sigma^2 h(x_i) \ \ \ , \ h(x_i)=h_i>0
$$

$$
y_i=\beta_0+\beta_1 x_{i1}+…+\beta_k x_{ik}+u_i
$$

$$
\frac{y_i}{\sqrt{h_i}} =\beta_0 \frac{1}{\sqrt{h_i}}+\beta_1 \frac{x_{i1}}{\sqrt{h_i}}+…+\beta_k \frac{x_{ik}}{\sqrt{h_i}}+\frac{u_i}{\sqrt{h_i}}
$$

于是:
$$
y_i^=\beta_0x_{i0}^+\beta_1 x_{i1}^+…+\beta_k x_{ik}^+u_i^*
$$

此时:
$$
Var(u_i)=Var(\frac{u_i}{\sqrt{h_i}})=\frac{1}{h_i}Var(u_i) = \sigma^2
$$

此时$u_i$为同方差。

假设已知$h(x)$的形式而不知道其参数:

我们可以先对参数进行回归,得到一个估计的$h(x)$。