MLR.5MLR.5 同方差假设中,满足:

Var(ux1,x2,...,xk)=σ2Var(u|x_1,x_2,...,x_k)=\sigma^2

现实世界中方差未必恒定相等,于是引出异方差:

异方差(HeteroscedasticityHeteroscedasticity

Var(ux1,x2,...,xk)=σi2Var(u|x_1,x_2,...,x_k)=\sigma_i^2

异方差的影响

在异方差的条件下,OLSOLS估计量依然是无偏与一致的,这是因为我们之前对无偏性的证明中仅仅用到了MLR.1MLR.4MLR.1-MLR.4。但是OLSOLS不再是最优线性无偏估计值BLUEBLUE),即OLSOLS未必是方差最小的估计量。同时,Var(βj^)Var(\hat{\beta_j})有偏,FF统计量与 tt 统计量也不再服从对应分布。

异方差-稳健推断($Heteroscedasticity-robust\ inference $)

在异方差的条件下,对于一元回归,可以同理前文方法得到:

Var(β1^)=i=1n(xixˉ)2σi2SSTx2Var(\hat{\beta_1})=\frac{\sum_{i=1}^n(x_i-\bar{x})^2\sigma_i^2}{SST_x^2}

因此我们需要一种估计方法解决σi\sigma_i的估计问题,估计方法如下:

Var(ux1,x2,...,xK)=σi2Var(u|x_1,x_2,...,x_K)=\sigma_i^2

Var^(βj^)=i=1nr^ij2u^i2SSRj2\hat{Var}(\hat{\beta_j})=\frac{\sum_{i=1}^n \hat{r}_{ij}^2\hat{u}_{i}^2}{SSR_j^2}

其中r^ij\hat{r}_{ij}表示将xjx_j对所有其他自变量做回归所得到地第ii个残差,SSRjSSR_j则是这个回归的残差平方和。而Var^(βj^)\sqrt{\hat{Var}(\hat{\beta_j})} 则称为异方差—稳健的标准误

对异方差性的检验

布罗施—帕甘检验

假设同方差,则:

H0:Var(ux1,x2,...,xk)=σ2=E(u2)H_0: Var(u|x_1,x_2,...,x_k)=\sigma^2=E(u^2)

为了检验E(u2)=σ2E(u^2)=\sigma^2是否成立,可以假定线性函数:

u2=δ0+δ1x1+δ2x2+...+δkxk+vu^2=\delta_0+\delta_1x_1+\delta_2x_2+...+\delta_kx_k+v

则同方差的原假设为:

H0:δ1=δ2=...=δk=0H_0: \delta_1=\delta_2=...=\delta_k=0

对此,可以使用FF统计量进行检验。

怀特检验

u^2=δ0+δ1x1+δ2x2+δ3x3++δ4x12+δ5x22+δ6x32+δ7x1x2+δ8x1x3+δ9x2x3+error\hat{u}^2=\delta_0+\delta_1x_1+\delta_2x_2+\delta_3x_3++\delta_4x_1^2+\delta_5x_2^2+\delta_6x_3^2+\delta_7x_1x_2+\delta_8x_1x_3+\delta_9x_2x_3+error

H0:δ1=δ2=...=δ9=0H_0: \delta_1=\delta_2=...=\delta_9=0

使用FF检验:FFk,nk1F \sim F_{k,n-k-1}

怀特检验的缺陷

需要使用大量的变量,会用掉很多的自由度。

一个解决方法:

已知:

yi^=β0^+β1^xi1+β2^xi2+...+βk^xik\hat{y_i}=\hat{\beta_0}+\hat{\beta_1}x_{i1}+\hat{\beta_2}x_{i2}+...+\hat{\beta_k}x_{ik}

我们通过估计方程:

u^2=δ0+δ1y^+δ2y^2+误差项\hat{u}^2=\delta_0+\delta_1\hat{y}+\delta_2\hat{y}^2+误差项

这样y^2\hat{y}^2的展开式中就包含了自变量的平方项和交叉乘积项。

故我们只需要进行原假设:

H0:δ1=0,δ2=0H_0: \delta_1=0 ,\delta_2=0

加权最小二乘估计

假设除了一个常数倍数(σ2\sigma^2)以外,异方差是可知的:

Var(uixi)=σ2h(xi)   , h(xi)=hi>0Var(u_i|x_i)=\sigma^2 h(x_i) \ \ \ , \ h(x_i)=h_i>0

yi=β0+β1xi1+...+βkxik+uiy_i=\beta_0+\beta_1 x_{i1}+...+\beta_k x_{ik}+u_i

yihi=β01hi+β1xi1hi+...+βkxikhi+uihi\frac{y_i}{\sqrt{h_i}} =\beta_0 \frac{1}{\sqrt{h_i}}+\beta_1 \frac{x_{i1}}{\sqrt{h_i}}+...+\beta_k \frac{x_{ik}}{\sqrt{h_i}}+\frac{u_i}{\sqrt{h_i}}

于是:

yi=β0xi0+β1xi1+...+βkxik+uiy_i^*=\beta_0x_{i0}^*+\beta_1 x_{i1}^*+...+\beta_k x_{ik}^*+u_i^*

此时:

Var(ui)=Var(uihi)=1hiVar(ui)=σ2Var(u_i)=Var(\frac{u_i}{\sqrt{h_i}})=\frac{1}{h_i}Var(u_i) = \sigma^2

此时uiu_i为同方差。

假设已知h(x)h(x)的形式而不知道其参数:

我们可以先对参数进行回归,得到一个估计的h(x)h(x)