条件期望

离散条件下的条件期望

在给定事件$B$（$P(B)>0$）的条件下，事件$A$发生的条件概率为
$$
P(A|B)=\frac{P(AB)}{P(B)}
$$
显然：
$$
P(A|B)=P(A) \ \ \ \ 当且仅当A,B相互独立
$$
若$P(B)>0$，定义给定事件$B$的条件下，随机变量$X$的条件分布函数为：
$$
F_X(x|B)=\frac{P(X\leq x,B)}{P(B)}
$$
同样，在给定$B$的条件下，$X$的条件期望为：
$$
E(X|B)=\frac{E(XI_B)}{P(B)}
$$
其中，$I_B$ 是示性函数：
$$
I_B(\omega)=\begin{cases} 1,\omega \in B \ 0,\omega \notin B \end{cases}
$$

若$X$为离散型随机变量，则：
$$
E[X|B]=\sum_{k=1}^{\infty} x_k\frac{P({x=x_k} \cap B) }{P(B)}=\sum_{k=1}^{\infty} x_k P(x=x_k|B)
$$
若$X$为具有密度$f_X$的随机变量，则：
$$
E[X|B]=\frac{1}{P(B)}\int_{-\infty}^{\infty} xI_B(x)f_X(x)\ dx=\frac{1}{P(B)}\int_{B}xf_X(x)\ dx
$$

例1

均匀分布的随机变量的条件期望。样本空间$\Omega=[0,1]$，其上的概率测度$P$满足$P([a,b])=b-a$，显然，$X$服从$[0,1]$上的均匀分布

条件期望的性质

1、线性：
$$
E[[C_1X_1+C_2X_2]|Y]=C_1E[X_1|Y]+C_2E[X_2|Y]
$$
2、重期望公式：
$$
E[X]=E[E[X|Y]]
$$
​ 整体的平均等于部分的平均再平均，其中部分平均$E[X|Y]$是随机变量

证明：
$$
E[E[X|Y]]=\sum_{i=1}^{\infty}E[X|A_i]P(A_i) \ =\sum_{i=1}^{\infty} \frac{E[XI_{A_i}]}{P(A_i)} P(A_i)
\ =\sum_{i=1}^{\infty}E[XI_{A_i}]\ =E[X\sum_{i=1}^{\infty}I_{A_i}]=E[X]
$$
注意，最后一步用到了：
$$
\sum_{i=1}^{\infty}I_{A_i}=I_{\cup_{i=1}^{\infty}A_i}=I_{\Omega} =1
$$

3、如果$X$与$Y$独立，则
$$
E[X|Y]=E[X]
$$
证明：
$$
P(X \in A,Y=y_i)=P(X\in A)P(A_i)
$$
而
$$
A_i={\omega: I_{A_i}(\omega)=1 }={\omega:Y(\omega)=y_i }
$$
故：
$$
P(X\in A,I_{A_i}=1) =P(X\in A)P(I_{A_i}=1)
$$
同理将$I_{A_i}=0$代入也成立，故随机变量$X$与$I_{A_i}$也独立
$$
EX|Y=E[X|A_i]=\frac{E[XI_{A_i}]}{P(A_i)}=\frac{E[X]E[I_{A_i}]}{P(A_i)}=\frac{E[X]P(A_i)}{P(A_i)}
=E[X]
$$

故：
$$
E[X]=E[X|Y]
$$

4、条件期望$E[X|Y]$不是$X$的函数，而是$Y$的函数，随机变量$X$只是决定了这个函数的类型：
$$
E[X|Y]=g(Y)
$$
其中：
$$
g(y)=\sum_{i=1}^{\infty} E[X|Y=y_i]\ I_(y)
$$

关于$\sigma $域

随机过程的$\sigma $域

对于随机过程$Y={Y_t,t\in T ,\omega\in \Omega }$，记$\sigma(Y)$为包含以下集合的最小代数${\omega:样本轨道(Y_t{(\omega)},t\in T)属于C }$，其中$C$是由$T$上的函数组成的任意一个恰当的集合，则称$\sigma(Y)$为由$Y$生成的$\sigma$代数。

一般条件期望

对于给定的$\sigma$域$F$，如果随机变量$Z$满足如下条件：

1、$Z$中的信息不比$F$中的信息多，即：$\sigma(Z) \subset F$；

2、对任意的$A\ \in F$，有：
$$
E(XI_A)=E(ZI_A)
$$
则称随机变量$Z$为$X$在给定的$\sigma$域$F$下的条件期望，记为 $Z=E(X|F)$

可以认为：条件期望$E(X|F)$是对原来的随机变量$X$的简略的概况。

条件期望的性质（运算法则）

法则$1$：线性性质
$$
E([C_1X_1+C_2X_2]|F)=C_1E(X_1|F)+C_2E(X_2|F)
$$
法则$2$：
$$
E(X)=E(E(X|F))
$$
法则$3$:

​ 如果$X$与$\sigma$域$F$是相互独立的，那么：$E(X|F)=E(X)$

​ 特别地，如果$X$与$Y$是相互独立的，那么：$E(X|Y)=E(X)$

​ 独立的理解：在已经知道了$F$的情况下，仍然不能得到关于$X$的更多的信息。

法则$4$:

​ 如果由随机变量$X$生成的 $\sigma$ 域 $\sigma(X)$ 包含在 $F$ 中（即 $X$ 关于 $F$ 可测），那么：
$$
E(X|F)=X
$$
​ 特别地，若$X$是$Y$的函数，意味着 $\sigma(X) \subset \sigma(Y)$，则有：$E(X|Y)=X$

​ 这意味着$F$的信息可以提供关于$X$的所有信息，故可将$X$视为非随机来处理。

法则$5$:

​ 如果由随机变量$X$生成的 $\sigma$ 域 $\sigma(X)$ 包含在 $F$ 中（即 $X$ 关于 $F$ 可测），那么对任意随机变量$G$，有：
$$
E(XG|F)=XE(G|F)
$$
​ 若$X$是$Y$的函数，则：$E(XG|Y)=XE(G|Y)$

法则$6$: 塔型法则

​ 如果$F$和$F’$是两个$\sigma$域，满足$F \subset F’$，则有：
$$
E(X|F)=E(E(X|F’)|F) \
E(X|F)=E(E(X|F)|F’)
$$
​

法则$7$: 独立性引理

​ 若$X$与$F$独立，$Y$关于$F$可测，则：
$$
E(h(X,Y)|F)=E(h(X,y))|_{y=Y}
$$

条件期望的投影性质

设$F$是一个$\sigma$域，$L^2(F)$是由$\Omega$上满足如下性质的随机变量$Z$构成的集合：

  • $Z$具有有限二阶距：$E(Z^2)< + \infty$
  • $Z$携带的信息包含在$F$中：$\sigma(Z) \subset F$，如果$F=\sigma(Y)$，则意味着$Z$是$Y$的函数。

投影性质：

​ 设$X$是随机变量，满足$E(X^2)<+\infty$，则条件期望$E(X|F)$是$L^2(F)$中在均方意义下最接近$X$的随机变量，即：
$$
E(X-E(X|F))^2=min_{Z\in L^2(F)} E(X-Z)^2
$$
也可以理解为$E(X|F)$是在给定$F$下对$X$最好的预测。