【随机分析（四）】随机过程初探

若$T$为指标集，设 $\{X_t,t \in T\}$ 为 $r.v.$ 的集合，如果对于 $\forall \ t_i \in T$,满足$X_{t_i}$ 是相互独立的，则称$\{X_t,t\in T \}$是相互独立的。

如果这个随机变量的集合是相互独立的，且所有的随机变量都具有相同的分布，则称它为独立同分布的 $(independent \ and \ identically \ distributed,i,i,d)$

随机过程

随机过程$X$是一个定义于$\Omega$上的随机变量序列$\{X_t \ ,\ t \in T \}=\{X_t(\omega) \ ,\ t \in T \ , \omega \in \Omega \}$

（1）若$T$是区间：$T=[a,b],(a,b),[a,+\infty]$，则为连续时间过程

（2）$T$是元素有限或可数的集合，则为离散时间过程（时间序列分析）

随机过程是一个二元函数（$t,\omega$）

若固定$t$，则$X_t$是一个随机变量（是$\omega$的函数）

若固定$\omega$ ，$X(\omega)$是一个关于时间的函数，称之为一条轨道

例：$ARMA$模型

一个典型的时间序列模型：$ARMA$模型（自回归滑动平均模型）

$\{ Z_t \}$为独立同分布的随机变量序列，则：

阶为$q$的移动平均模型：

$X_t=Z_t+\theta_1Z_{t-1}+...+\theta_qZ_{t-q} \ , \ t\in Z$

阶为1的自回归模型：

$X_t = \varphi X_{t-1}+Z_t \ , \ t \in Z$

分布

随机过程$X$的有限维分布$(fidis)$是指有限维随机向量$(X_{t_1},X_{t_2},…,X_{t_n}) \ \ t_1,t_2,…,t_n \in T $的分布，其中$n$为任意自然数，$t_1,t_2,…,t_n \in T$是时间的所有可能性。可以证明有限维分布决定了$X$的分布，故随机过程$X$的分布：有限维分布的集合。、

高斯过程

如果一个随机过程的所有有限维分布为高斯分布，则称之为高斯过程$(Gaussian\ Process)$。

例1

$T=[0,1]$，$T$上相互独立并且服从正态分布$N(0,1)$的随机变量构成的高斯过程。

有限维分布函数：

$P(X_{t_1} \leq x_1,X_{t_2} \leq x_2,...,X_{t_n} \leq x_n) \\ =P(X_{t_1} \leq x_1)P(X_{t_2} \leq x_2)...P(X_{t_n} \leq x_n) \\ =\Phi(x_1)\Phi(x_2)...\Phi(x_n) \\ 0 \leq t_1\leq t_2\leq...\leq t_n \leq 1 (x_1,x_2,...,x_n) \in \R^n$

期望与协方差函数

期望函数：

$\mu_x(t)=\mu_{x_t}=E[X_t]$

协方差函数：

$C_x(t,s)=Cov(X_t,X_s) \\ =E[(X_t-\mu_x(t))(X_s-\mu_x(s))]\\ =E[X_tX_s]-\mu_x(t)\mu_x(s)$

方差函数：

$C_X(t,t)=\sigma_{x}^2(t)=E[(X_t-\mu_x(t))^2] \\ =E[X_t^2]-\mu_x^2(t)$

自相关函数：

$R_x(t,s)=E[X_tX_s]$

对于例1：

$\mu_x(t)=0 \\ C_X(t,s)=\begin{cases} 1,t=s \\ 0, t \not = s \end{cases} \\ R_x(t,s)=\begin{cases} 1,t=s \\ 0, t \not = s \end{cases}$

对于高斯过程，完全由期望函数和协方差函数来决定。因为固定时间t，则变为随机向量，而高斯随机向量由均值和协方差矩阵确定。

随机过程的相关结构

称过程$X=(X_t,t \in T)$是严格平稳的，若它的有限维分布关于指标$t$是平移不变的：

$(X_{t_1},X_{t_2},...,X_{t_n}) \overset{d}{=} (X_{t_1+h},X_{t_2+h},...,X_{t_n+h})$

对于所有可能的指标选择$t_1,t_2,...,t_n \in T,n \geq 1$，及使得$t_1+h,t_2+h,...,t_n+h \in T$的所有$h$成立。

$\overset{d}{=}$ 代表同分布（分布函数相同，不代表取值相同）

例子见下一节。