随机变量的类型

离散型随机变量

离散型随机变量的分布函数不连续，至多有可数个间断点（跳跃型间断点）
$$
F_X(x)=\sum_{k: x_k \leq x}P(X=x_k)=\sum_{k: x_k \leq x}P_k \tag{1}
$$

$$
0\leq P_k \leq1\
\sum_{k=1}^\infty P_k=1
$$

我们称满足（1）式的分布函数及相应的随机变量为离散型。

例1：

二项分布$ B(n,p)$
$$
P_k =P(X=k)=C_n^k p^k (1-p)^{n-k}\
k=0,1,2,…n
$$
伯努利分布$(Bernoulli)$：$n=1$ 的二项分布

二项分布是多次伯努利分布。

例2

参数为$\lambda$的泊松$Poisson$分布 $P(\lambda)$
$$
P_k=P(X=k)=\frac{\lambda^k}{k!}e^{-\lambda}
$$
其中 $k=0,1,2,3…$

连续型随机变量

若分布函数连续，则 $r.v.X$ 称为连续型随机变量，则：
$$
\forall x \in R , P(X=x)=0
$$
大多数连续型$r.v.$都有密度函数：
$$
f_{X}(x) \ \ x \in R
$$
使得：
$$
F_X(x)=\int_{-\infty}^x f_x(y) {\rm d} y \
F_x’=f_x
$$
其中：
$$
f_x \geq 0 \
\int_{-\infty}^{\infty}f_X(y) \ {\rm d} y =1
$$

例1

均匀分布 $U(a,b)$ $(Uniformly$ $distribution)$
$$
\Large
F_X(x)=\begin{cases} 0 \quad,\quad x\leq a \
\frac{x-a}{b-a} \quad,\quad a<x<b \
1\quad,\quad x \geq b \end{cases}
$$

$$
\Large
f_X(x)=
\begin{cases}
\frac{1}{b-a} \quad,\quad x \in(a,b) \
0\quad,\quad x \notin(a,b) \end{cases}
$$

如何理解均匀分布：

并非每个点概率都一样就是均匀分布，因为任何连续型分布每个点概率均为零。

正确理解为：在$(a,b)$上取定长区间，概率相等。

例2

参数为$\lambda$的指数分布
$$
\Large
F_X(x)=\begin{cases} \ 0 \ ,x<0 \ \ 1-e^{-\lambda x} ,x \geq 0 \end{cases}
$$

$$
\large f_X(x)= \begin{cases} 0 \quad\quad\quad x<0 \ \lambda e^{-\lambda x}\quad x \geq 0 \end{cases}
$$

例3

正态分布 $N(\mu,\sigma^2)$ $Normal \ Distribution$
$$
\forall x \in \R \ \ \ \ \ \ \ f_X(x)=\frac{1}{\sqrt{2\pi}\sigma}e^\frac{(x-\mu)^2}{2\sigma^2}
$$

$$
F_X(x)=\int_{-\infty}^{x} f_X(y) \ {\rm d} y
$$

若$\mu=0,\sigma=1$ ,则为标准正态分布 $N(0,1)$

既不离散，又不连续，如：
$$
X \sim P(\lambda) \
Y \sim N(0,1)\
Z=X+Y
$$
中心极限定理：对于独立并同样分布的随机变量，即使原始变量本身不是正态分布，标准化样本均值的抽样分布也趋向于标准正态分布

数学期望、方差、矩

1、连续型$r.v.X$有密度函数$f_x$

数学期望：
$$
\mu_X= E[X] = \int_{-\infty}^{\infty} x f_X(x) \ {\rm d} x
$$
方差：
$$
\sigma_X^2=Var(X)=E[(X-\mu_X)^2]=E[X^2]-{\mu_X}^2 \
=\int_{-\infty}^{\infty} (x-{\mu_X}^2) f_X(x) \ {\rm d}x
$$
标准差：
$$
\sigma_X=\sqrt{Var(X)}
$$
$l$ 阶距：
$$
E[X^l]=\int_{-\infty}^{\infty} x^l f_X(x) \ {\rm d} x
$$
$\forall$ 函数$g$ , $Y=g(x)$ 的期望：
$$
E[Y]=E[g(X)]=\int_{-\infty}^{\infty} g(x)f_X(x) \ {\rm d}x
$$
易错注意：$E[g(x)] \not= g(E(x))$

2、离散型$r.v.X$ 设$P(X=x_k)=P_k$

数学期望：

$$
\mu_X=E[X]=\sum_k x_kP_k
$$
方差：
$$
\sigma_X^2=Var(X)=\sum_{k}(x_k-\mu_k)^2 P_k
$$
标准差：
$$
\sigma_X=\sqrt{Var(X)}
$$
$l$ 阶距：
$$
E[X^l]=\sum_k {x_k}^l P_k
$$
$g(X)$ 的期望：
$$
E[g(X)]= \sum_k g(x_k)P_k
$$
从样本空间到实数域：
$$
E[X]=\int_\Omega X(\omega) \ {\rm d} P(w) =\int_\R x \ {\rm d} F_X(x)
$$

定理1： 切比雪夫不等式 $(chebyshev)$
$$
r.v.X \ \ \ \ \ \ \ \ E[X]=\mu \ \ \ \ \ \ Var(X)=\sigma^2
$$
则：
$$
\forall \varepsilon>0 \ \ \ \ \ \ \ P(\ |X-\mu| \geq \varepsilon) \leq \frac{\sigma^2}{\varepsilon^2}
$$

含义：随机变量$X$落在数学期望$E(X)$的领域内的概率是很大的

证明：

首先我们定义示性函数 $I_A$:
$$
I_A(\omega)=\begin{cases} 0 \ \ , \omega \notin A \ 1 \ \ ,\omega \in A \end{cases}
\ \ \ \ \ \forall \omega \in \Omega
$$

$$
E[I_A]=1P(A)+0(1-P(A))=P(A)
$$

$$
P(\ |X-\mu| \geq \varepsilon) =E[\ I_{|X-\mu| \geq \varepsilon} \ ] \
=E[\ I_{|X-\mu|^2 \geq \varepsilon^2} \ ]
$$

因为 $I_{|X-\mu|^2 \geq \varepsilon^2}$ 只能取0 或 1，若$I=0$ ，则$0<\frac{|X-\mu|^2}{\varepsilon^2} <1 $ ；若$I = 1$，则$\frac{|X-\mu|^2}{\varepsilon^2} \geq 1 $

故：
$$
I_{|X-\mu|^2 \geq \varepsilon^2} \leq \frac{|X-\mu|^2}{\varepsilon^2}
$$
两边同时取期望：
$$
E[I_{|X-\mu|^2 \geq \varepsilon^2}] \leq E[\frac{|X-\mu|^2}{\varepsilon^2}] =\frac{\sigma^2}{\varepsilon^2}
$$
得证。

随机向量

若 $X=(X_1,X_2,…,X_n)$ ,其中 $ \forall i$ ,$X_i$ 是一维随机变量，则 $X$ 称为 $n$ 维随机向量$(Random\ vector)\ ( r. v.)$

分布函数

$$
F_X(x)=P(X_1 \leq x_1,\ X_2 \leq x_2,\ …,\ X_n \leq x_n) \
=P({\omega: X_1(\omega) \leq x_1,\ X_2(\omega) \leq x_2,\ …,\ X_n(\omega) \leq x_n })
$$

其中：
$$
X=(X_1,X_2,…,X_n)\ \ ,\ \ \ \ \ x=(x_1,x_2,…x_n) \in \R
$$

$$
\forall B\in \mathcal{B} \ \ (n维度Borel代数) \
P_X(B)=P({ \omega:X_i(\omega)\in B } )= P(X\in B)

$$

称为随机向量$X$的分布

概率密度

若随机变量 $X=(X_1,X_2,…,X_n )$ 有密度 $f_x$ ，则分布函数 $F_X(x)$ 可以表示为
$$
F_X(x)=\int_{-\infty}^{x_1}\int_{-\infty}^{x_2}…\int_{-\infty}^{x_n} f_X(y_1,y_2,…y_n) dy_n…dy_2dy_1
$$

$$
x=(x_1,x_2,…,x_n) \in \R^n \ \ \ \ , \ \ \ \ f_x \geq 0
$$

且：
$$
\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}…\int_{-\infty}^{\infty} f_X(y_1,y_2,…y_n) dy_n…dy_2dy_1=1
$$

边缘密度及分布函数

略。

数学期望

$$
E[X]=(E[X_1],E[X_2],…,E[X_n])
$$

协方差矩阵

$$
\sum_x =(\sigma_{ij})_{n*n}
$$

是一个对称矩阵，其中：
$$
\sigma_{ij}=cov(X_i,X_j) \
=E[(X_i-E[X_i])(X_j-E[X_j])] \
=E[X_iX_j]-E[X_i]E[X_j]
$$
是$X_i$和$X_j$的协方差，$1 \leq i \leq n, 1 \leq j \leq n$

可证明$\sum_x$是一个半正定矩阵。

证明：

正定矩阵$(positive definite)$：给定一个大小为$n*n$ 的实对称矩阵 $A$ ，若对于任意长度为$n$的非零向量$x$，有$x^TAx>0$恒成立，则矩阵$A$是一个正定矩阵。

半正定矩阵$(positive semi-definite)$：给定一个大小为$n*n$ 的实对称矩阵 $A$ ，若对于任意长度为$n$的非零向量$x$，有$x^TAx \geq 0$恒成立，则矩阵$A$是一个半正定矩阵。

例*：$n$维高斯（随机）向量 （ $n$维正态向量）

$$
X=(X_1,X_2,…X_n)
$$

密度函数：
$$
\forall x=(x_1,x_2,…,x_n)\in \R^n
$$

其中:
$$
\mu=(\mu_1,\mu_2,…,\mu_n) \ \ \ \ :数学期望
$$

$$
\sum :X的协方差矩阵 \ det \sum: \sum的行列式 \ (\sum)^{-1} ：\sum 的逆矩阵
$$

二维：
$$
\sum =\begin{pmatrix}
{\sigma_1}^2 &\sigma_1\sigma_2 \
\sigma_1\sigma_2&{\sigma_2}^2 \
\end{pmatrix}
$$
$X$和$Y$的相关系数:
$$
\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X) \ Var(Y)}}
$$
性质：

对$n$维高斯向量作线性变换，得到的仍是高斯向量。
$$
X=(X_1,X_2,…X_n) \sim N(\mu,\sum)
$$
设$A$为$m*n$的矩阵
$$
AX \sim N(A\mu,A\sum A^{T})
$$

（$AX$ 是一个m维的高斯向量）

*二维高斯随机向量的密度图形：横截面是椭圆

*密度函数指数部分对应着椭圆