独立和相关

事件的独立

如果两个事件$A_1$和$A_2$满足
$$
P(A_1 \cap A_2)=P(A_1A_2)=P(A_1)*P(A_2)
$$
则称$A_1$和$A_2$相互独立

如果两个事件各自概率不为0，若两者互斥，则两者不独立。

条件概率：$A_1$发生的条件下，$A_2$发生的概率
$$
P(A_2|A_1)=\frac{P(A_1A_2)}{P(A_1)}
$$
若$A_1$和$A_2$相互独立，则$\ \ \ P(A_2|A_1)=P(A_2)$

随机变量的独立

$X_1$和$X_2$为两个随机变量，如果对于 $\forall B_1,B_2 \in \mathcal{B} $
$$
P(x_1 \in B_1,x_2 \in B_2)=P({\omega:X_1(\omega)\in B_1,X_2(\omega)\in B_2})\
=P(X_1(\omega)\in B_1)P(X_2(\omega)\in B_2)
$$
则称$X_1$和$X_2$相互独立。

$X_1$和$X_2$相互独立 等价于：
$$
F_{X_1,X_2}(x_1,x_2)=F_{X_1}(x_1)F_{X_2}(x_2) \
\Leftrightarrow f_{X_1,X_2}(x_1,x_2)=f_{X_1}(x_1)f_{X_2}(x_2)
$$

$\sigma$代数的独立

$\mathcal{F_1}$和$\mathcal{F_2}$为两个$\sigma$代数，若对于$\forall A\in \mathcal{F_1},B\in \mathcal{F_2}$，都有：
$$
P(AB)=P(A)P(B)
$$
即$A$与$B$独立，则称$\mathcal{F_1}$和$\mathcal{F_2}$相互独立。

多个独立

设$A_1,A_2,…A_n$为$n$个事件，如果对于$\forall \ 2\leq k\leq n$及任意下标$1 \leq i_1 \leq i-2 \leq … \leq n $ 都有：
$$
P(A_{i_1},A_{i_1},…,A_{i_k})=P(A_{i_1})P(A_{i_2})…P(A_{i_k})
$$
则称$A_1,A_2,…A_n $相互独立。（上式共有$2^n-n-1$个）

设$X_1,X_2,…X_n$为$n$个随机变量，如果对于$\forall \ 2\leq k\leq n$及任意下标$1 \leq i_1 \leq i-2 \leq … \leq n $ 及任意的$\mathcal{B}{i_1},\mathcal{B}{i_2},…,\mathcal{B}_{i_k}$

$$
P(X_{i_1} \in B_{i_k},X_{i_k} \in B_{i_k},…,X_{i_k} \in B_{i_k}) =
P(X_{i_1} \in B_{i_1})P(X_{i_2} \in B_{i_2})…P(X_{i_k} \in B_{i_k})
$$
则称$X_1,X_2,…X_n$相互独立。

例高斯向量续：

$X$和$Y$独立，则
$$
E(XY)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} xy f_{(X,Y)}(x,y)\ dx dy\
=\int_{-\infty}^{\infty}xf_X(x)dx \int_{-\infty}^{\infty}yf_Y(y)dy \
=E(X)E(Y)
$$
若$X$与 $Y$的协方差为0，则称$X$与$Y$不相关。$\Rightarrow \rho_{XY}=0$

$X$与$Y$相互独立 $\Rightarrow$ $f(X)$和$g(Y)$互相独立

对于$n$维高斯向量，分量之间相互独立 $\Leftrightarrow$ 两两不相关

若高斯向量中各分量相互独立，则$\sum$为对角矩阵，密度函数化简为：
$$
f_X(x)=\large{\Pi_{i=1}^n} {\frac{1}{\sqrt{2\pi}}exp(-\frac{(x_i-\mu_i)^2}{2\sigma_i^2})}
$$

关于独立与相关的辨析：

不相关是指的两个变量之间没有线性关系，并不一定没有其他关系。而独立指的是两个随机变量之间什么关系都没有.

例：
$$
X \sim N(0,1) \
Z \sim \begin{cases} 1\ \ \ \ \ ,p=\frac{1}{2} \ -1,\ \ p=\frac{1}{2}\end{cases}
$$
令$Y=XZ$，可证：$X$与$Y$ 不相关（相关系数为0）但是不独立（不满足$P(XY)=P(X)P(Y)$）。

两个高斯随机变量放一起并不一定是高斯随机向量。

（X,Y）不是高斯随机向量！！

why: 因为$X$与$Y$存在关联，导致定义域受到影响，如x取2时y只能取正负2，而高斯随机向量可以取全部。

*(X,Y)没有概率密度函数！（因为积分区域为Y=X和Y=-X，是两条线，面积为零，故找不到概率密度，使得积分之和为1）