【计量经济学（五）】多元回归分析：推断

推断的目的：根基样本估计值来推断真实值

Assumption MLR.6 (Normality of error terms 误差项的正态性)

总体误差$u$独立于解释变量$x_i$，并且服从正态分布。
$$
u_{i} \sim N(0,\sigma^2)
$$

以$x$不变作为条件，则$y$的分布也是正态分布
$$
E(y|x)=E(\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_kx_k+u|x)=\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_kx_k \
Var(y|x)=Var(u|x)= \sigma^2
$$
所以：
$$
\pmb{y|x \sim N(\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_kx_k,\sigma^2)}
$$

$MLR.1-MLR.6$统称为经典线性假定（$CLM$），在这个假定下的模型称为经典线性模型，可以证明，在$CLM$假定下，$OLS$估计量是最小方差无偏估计量。

定理4.1 正态抽样分布

根据$MLR.1-MLR.6$:
$$
\hat{\beta_{j}} \sim N(\beta_j,Var(\hat{\beta_j}))
$$
进一步：
$$
\frac{\hat{\beta_j}-\beta_j}{sd(\hat{\beta_j})} \sim N(0,1)
$$

证明：

由上一章，我们已知：
$$
\hat{\beta_j}=\beta_j+\frac{\sum_{i=1}^n\hat{r}{ij}u_i}{\sum{i=1}^n\hat{r}_{ij}^2}
$$
这是关于$u_i$的线性组合，因为$u_i$服从正态分布，故$\hat{\beta_j}$服从正态分布。

定理4.2 标准化估计量的t分布

根据$MLR.1-MLR.6$:
$$
\frac{\hat{\beta_j}-\beta_j}{se(\hat{\beta_j})} \sim t_{n-k-1}
$$

证明：

矩阵证明，后续补充。

t分布

密度函数：

图形为：

如何推断真实值

第一步建立原假设或零假设（$Null \ hypothesis$）

$$
H_0: \beta_j=0
$$

第二步构建$t-statistic$（$t$统计量）

$$
t_{\hat{\beta_j}}=\frac{\hat{\beta_j}}{se(\hat{\beta_j})}
$$

如何原假设$H_0$成立，则：
$$
t_{\hat{\beta_j}}=\frac{\hat{\beta_j}}{se(\hat{\beta_j})}=\frac{\hat{\beta_j}-\beta_j}{se(\hat{\beta_j})} \sim t_{n-k-1}
$$
$t_{\hat{\beta_j}}$是可计算的

假设检验的逻辑：

如果原假设成立，那么t统计量应该服从t分布，我们根据数据计算t统计量，如果t统计量的产生是一个小概率事件，那么拒绝原假设。

第三步确定显著性水平和临界值

显著性水平指的是小概率事件发生的概率（当$H_0$正确时拒绝它的概率）。

例如，在5%的显著性水平下，设$c$为$n-k-1$的自由度的$t$分布中处在百分位中第95位的数值，则拒绝法则为
$$
t_{\beta_j}>c
$$

单侧备择假设（$Testing\ against\ one-sided\ alternatives$）

第一步提出原假设：
$$
Test:H_0:\beta_j=0 \ \ \ against\ \ \ \ H_1:\beta_j>0
$$
第二步计算$t$统计量

第三版根据自由度和显著性水平，计算临界值。

双侧备择假设（$Testing\ against\ two-sided\ alternatives$）

拒绝法则：
$$
|t_{\hat{\beta_j}}| >c
$$

如果在一定显著性水平上拒绝$H_0$，我们通常说：$x_j$是统计显著的$(statistically\ significant)$ ，反之，我们则称"$x_j$在显著性水平为$5%$时是统计上不显著的$(statistically\ insignificant)$"

其他形式的假设

原假设：
$$
H_0: \ \ \beta_j=a_j
$$
$t$统计量：
$$
t=\frac{\hat{\beta_j}-a_j}{se(\hat{\beta_j})}
$$

计算$t$检验的$p$值

p值的含义：给定$t$统计量的观测值，能拒绝原假设的最小显著性水平

即，显著性（阴影面积）不断减少的过程中，最小的能将$t$统计量包含住的显著性的值；此时，$t$统计量是临界值，$p$为$t$统计量到无穷处积分出的面积。

实践中，我们往往希望更小的显著性水平(显著性水平越小，拒真错误的可能性越小)，因此，$p$值刻画了样本数据能提供的最优（小）的显著性水平。

在双侧假设下：
$$
p=P(|T|>|t|)
$$
其中，$T$为自由度为$n-k-1$的$t$分布随机变量，$t$为该检验统计量的数值。

对于一定的显著性水平$\alpha$，若$p<\alpha$，则拒绝原假设；若$p>\alpha$，则在$\alpha$的显著性水平下，就不能拒绝$H_0$.

置信区间（$Confidence\ intervals$）

置信区间：真实值所在的取值范围

在一定显著性水平下（如0.05），可以求得临界值$C_{0.05},-C_{0.05}$（分别是$t$分布的上下2.$5%$分位数）

故不能拒绝原假设的区间为：
$$
-C_{0.05}<t_{\hat{\beta}}<C_{0.05}
$$

$$
-C_{0.05}<\frac{\hat{\beta_j}-\beta_j}{se(\hat{\beta_j})} <C_{0.05}
$$

从概率角度：
$$
P(-C_{0.05}<\frac{\hat{\beta_j}-\beta_j}{se(\hat{\beta_j})} <C_{0.05}) =95%
$$
化简得：
$$
P(\hat{\beta_j}-C_{0.05}se(\hat{\beta_j})<\beta_j{} <\hat{\beta_j}+C_{0.05}se(\hat{\beta_j})) =95%
$$
故在$5%$的显著性水平下，$\beta_j$的置信区间为：
$$
(\hat{\beta_j}-C_{0.05}se(\hat{\beta_j})\ ,\ \hat{\beta_j}+C_{0.05}se(\hat{\beta_j})\ )
$$

$$
a_j \notin interval\ \ \ => \ \ \ reject\ H_0:\beta_j=a_j
$$

检验关于参数的一个线性组合假设

$$
log(wage)=\beta_0+\beta_1 jc+\beta_2 univ+\beta_3 exper+u
$$

如果要检验$\beta_1$是否显示小于$\beta_2$，直觉是$H_0:\beta_1<\beta_2$，但此时$t$统计量为：
$$
t=\frac{\hat{\beta_1}-\hat{\beta_2}}{se(\hat{\beta_1}-\hat{\beta_2})}
$$
其分母$se(\hat{\beta_1}-\hat{\beta_2})$无法求得，故考虑换一种方法。

令$H_0: \theta_1=0$ 对$H_1: \theta_1<0$，将$\beta_1=\theta_1+\beta_2$代入原式：
$$
log(wage)=\beta_0+\theta_1 jc+\beta_2 (jc+univ)+\beta_3 exper+u
$$
用新变量$totcoll$代替$(jc+univ)$，此时可求得$t$统计量：
$$
t=\frac{\theta_1}{se(\theta_1)}
$$

对多个线性约束的检验：F检验

原假设：
$$
H_0: \beta_{k-q+1}=0,\beta_{k-q+2}=0,…,\beta_{k}=0
$$
备择假设：
$$
H_1: \ \ H_0 \ 不成立
$$
第一步，估计不受约束模型，计算残差平方和$SSR_{ur}$
$$
y=\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_kx_k+u
$$
即该模型的残差平方和

第二步，估计受约束模型，计算残差平方和$SSR_r$
$$
y=\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_{k-q}x_{k-q}+u
$$
即该模型的残差平方和

第三步，比较残差平方和是不是有很大变化，计算$F$统计量以及做$F$检验。

F统计量（$F-statistic$）

$$
F=\frac{(SSR_r-SSR_{ur})/q}{SSR_{ur}/(n-k-1)} \sim F_{q,n-k-1}
$$

其中：$q$为约束条件的个数

如果拒绝$H_0$，我们就说$x_{k-q+1},…,x_k$在适当的显著性水平上是联合统计显著的，否则是联合不显著的。

对全部系数检验

$$
H_0: \beta_1=\beta_2=…=\beta_k=0
$$

不受约束模型中：
$$
R^2=1-\frac{SSR_{ur}}{SST}
$$
故:
$$
SSR_{ur}=SST(1-R^2)
$$
受约束模型中$R^2=0$，故
$$
SSR_r =SST
$$
代入化简得：
$$
F=\frac{(SSR_r-SSR_{ur})/q}{SSR_{ur}/(n-k-1)}=\frac{R^2/k}{(1-R^2)/(n-k-1)} \sim F_{q,n-k-1}
$$
此时的显著性称为回归的整体显著性（$overall\ significnace\ of \ the \ regression$）