【随机分析（三）】谈谈独立与相关

独立和相关

事件的独立

如果两个事件$A_1$和$A_2$满足

$P(A_1 \cap A_2)=P(A_1A_2)=P(A_1)*P(A_2)$

则称$A_1$和$A_2$相互独立

如果两个事件各自概率不为0，若两者互斥，则两者不独立。

条件概率：$A_1$发生的条件下，$A_2$发生的概率

$P(A_2|A_1)=\frac{P(A_1A_2)}{P(A_1)}$

若$A_1$和$A_2$相互独立，则$\ \ \ P(A_2|A_1)=P(A_2)$

随机变量的独立

$X_1$和$X_2$为两个随机变量，如果对于 $\forall B_1,B_2 \in \mathcal{B} $

$P(x_1 \in B_1,x_2 \in B_2)=P({\omega:X_1(\omega)\in B_1,X_2(\omega)\in B_2})\\ =P(X_1(\omega)\in B_1)P(X_2(\omega)\in B_2)$

则称$X_1$和$X_2$相互独立。

$X_1$和$X_2$相互独立 等价于：

$F_{X_1,X_2}(x_1,x_2)=F_{X_1}(x_1)F_{X_2}(x_2) \\ \Leftrightarrow f_{X_1,X_2}(x_1,x_2)=f_{X_1}(x_1)f_{X_2}(x_2)$

$\sigma$代数的独立

$\mathcal{F_1}$和$\mathcal{F_2}$为两个$\sigma$代数，若对于$\forall A\in \mathcal{F_1},B\in \mathcal{F_2}$，都有：

$P(AB)=P(A)P(B)$

即$A$与$B$独立，则称$\mathcal{F_1}$和$\mathcal{F_2}$相互独立。

多个独立

设$A_1,A_2,...A_n$为$n$个事件，如果对于$\forall \ 2\leq k\leq n$及任意下标$1 \leq i_1 \leq i-2 \leq … \leq n $ 都有：

$P(A_{i_1},A_{i_1},...,A_{i_k})=P(A_{i_1})P(A_{i_2})...P(A_{i_k})$

则称$A_1,A_2,…A_n $相互独立。（上式共有$2^n-n-1$个）

设$X_1,X_2,...X_n$为$n$个随机变量，如果对于$\forall \ 2\leq k\leq n$及任意下标$1 \leq i_1 \leq i-2 \leq … \leq n $ 及任意的$\mathcal{B}_{i_1},\mathcal{B}_{i_2},...,\mathcal{B}_{i_k}$

$P(X_{i_1} \in B_{i_k},X_{i_k} \in B_{i_k},...,X_{i_k} \in B_{i_k}) = P(X_{i_1} \in B_{i_1})P(X_{i_2} \in B_{i_2})...P(X_{i_k} \in B_{i_k})$

则称$X_1,X_2,...X_n$相互独立。

例高斯向量续：

$X$和$Y$独立，则

$E(XY)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} xy f_{(X,Y)}(x,y)\ dx dy\\ =\int_{-\infty}^{\infty}xf_X(x)dx \int_{-\infty}^{\infty}yf_Y(y)dy \\ =E(X)E(Y)$

若$X$与 $Y$的协方差为0，则称$X$与$Y$不相关。$\Rightarrow \rho_{XY}=0$

$X$与$Y$相互独立 $\Rightarrow$ $f(X)$和$g(Y)$互相独立

对于$n$维高斯向量，分量之间相互独立 $\Leftrightarrow$ 两两不相关

若高斯向量中各分量相互独立，则$\sum$为对角矩阵，密度函数化简为：

$f_X(x)=\large{\Pi_{i=1}^n} {\frac{1}{\sqrt{2\pi}}exp(-\frac{(x_i-\mu_i)^2}{2\sigma_i^2})}$

关于独立与相关的辨析：

不相关是指的两个变量之间没有线性关系，并不一定没有其他关系。而独立指的是两个随机变量之间什么关系都没有.

例：

$X \sim N(0,1) \\ Z \sim \begin{cases} 1\ \ \ \ \ ,p=\frac{1}{2} \\ -1,\ \ p=\frac{1}{2}\end{cases}$

令$Y=XZ$，可证：$X$与$Y$ 不相关（相关系数为0）但是不独立（不满足$P(XY)=P(X)P(Y)$）。

两个高斯随机变量放一起并不一定是高斯随机向量。

（X,Y）不是高斯随机向量！！

why: 因为$X$与$Y$存在关联，导致定义域受到影响，如x取2时y只能取正负2，而高斯随机向量可以取全部。

*(X,Y)没有概率密度函数！（因为积分区域为Y=X和Y=-X，是两条线，面积为零，故找不到概率密度，使得积分之和为1）