【随机过程】随机过系列之随机过程概述

我尽力了，不要让我挂科！靠，难学到爆炸！！！

1. 随机过程的定义

随机过程X(t)是一组依赖于实参数t的随机变量，t一般具有时间的含义（当然，也可以选取别的测度）。随机过程{ X(t), t∈T }可能取值的全体所构成的集合称为此随机过程的状态空间，记作S 。

如何理解定义？

首先是符号表示$X(t)$，这表明随机过程仍然是一个函数，只不过这个函数有点特变，它同时依赖于参数t（t一般是时间）和样本点ω，即$X(t，\omega)$。

拆开理解：

• 如果给定时间 t，会得到关于样本点的随机函数，不同时间时刻对应不同随机变量取值；

• 如果给定样本点 $\omega$，会得到一个关于 t 的样本轨道。

上图中刻画有了一个随机过程，每条曲线即样本轨道，而同一时刻t与多条样本轨道相交，也就是随机变量。

即随机过程实际上是在一堆庞杂且乱的数据或事物中寻找一个趋势，研究的是一组随机变量之间的关系,它帮助我们看清事物的本质，使我们从偶然中悟出必然。

补充：参数t并不需要限制在一维，也不一定必须是时间，也可以是空间，此时称为随机场

2.随机变量的相关性

对于随机变量X、Y联合概率密度为：$f_{X,Y} = \frac{\partial^2}{\partial x \partial y}F_{X,Y}(x,y)$，分布函数为：$F_{X, Y}=P(x\leq X, y\leq Y)$

X、Y之间的相关关系大致可以分为三种：相互独立，存在相关，线性相关。

1. 相互独立

Y的概率分布不随X的变动而变动，即二者相互独立，即联合概率密度函数为： $f_{X, Y}= \begin{cases}1, |x|\leq1|y|\leq1\0,Others \end{cases}$

2. 存在相关

当X移动的时候，Y的的取值也在变，说明XY之间存在相关性，联合密度函数为： $f_{X, Y}= \begin{cases}\frac{1}\pi, |x|+|y|\leq1\0,Others \end{cases}$

3. 线性相关

上图中Y随着X的变动是较大的，考虑极端情形，即当纺锤体逐渐变窄的时候，Y与X之间的相关性也在不断增强，联合密度函数为： $f_{X, Y}= \begin{cases}\frac{1}{|\Omega|}, (x,y)\in \Omega \0,Others \end{cases}$

很多时候我们更喜欢研究简单的线性关系$Y=\alpha X$，但是实际情况往往会类似于纺锤体，所以转而使用均方误差，不相等的地方表现在纺锤的宽度，$Y =\alpha X \rightarrow E(Y-\alpha X)$(均方误差)，这里的$\alpha$代表直线的斜率，对于一个纺锤体，有很多条直线经过，但是怎么确定最优的那条直线？

直观上我们认为经过纺锤体长轴的那条直线最佳，为什么？因为这条直线对应的最小均方误差（$min_{\alpha} E(Y-\alpha X)^2$）最小，其中$\alpha_{op+} = \frac{E(XY)}{E(X^2)}$，由于随机过程研究一组随机变量之间的相关性，即我们更关注分子$E(XY)$。

对于XY直线的相关性，通常使用协方差来： $Cov(X, Y) = E(X-E(X))E(Y-E(Y)) = E(XY) -E(XE(Y))-E(YE(X))+E(X)E(Y)$ 因为期望E(X)和E(Y)是确定的，所以将上式可以转化为： $E(XY)-E(X)E(Y)$ 需要注意E(X)和E(Y)是两者均值的乘积，即两个确定值的乘积，并不是随机程所研究的。 综上： 两个随机变量不相关表示为：$E(XY) = EXEY = 0$，这里要区分事件独立和期望为0，对于$X = cos\theta, Y = sin \theta$，二者并不是独立的，因为都$\theta$的函数，而且有：$X^2 + Y^2 = 1$ 但是可以说二者之间存在相关性吗？答案是不可以，通过求期望：$E(X) = \int_{-\infty}^{+\infty} cos\theta f(\theta)d\theta = \int_{0}^{2\pi}sin\theta \frac{1}{2\pi}d\theta = 0$，同理$E(Y) = 0$，而$E(XY) = \frac{1}{2\pi}\int_{0}{2\pi}sin\theta cos\theta d\theta = 0$， 即$E(XY) = EXEY$。

3.相关函数与正定

二元函数R_X(t, s) = E(X(t)X(s))

这个函数的特点

1. 对称性（可以交换位置）

2. 对角线上非负性（$R_X(t, t) = E(X(t)^2)\geq 0$）

3. 正定性（结合柯西施瓦兹不等式）

相关函数构成的矩阵一定为正定矩阵 $R_X = (R_X(t_i, t_j)){ij} = (E(X(t_i))E(X(t_j))){ij} = E(XX^T)$(相关阵)

（此处$X = (X(t_1),X(t_2), ...)^T$）

$\forall \alpha \in \mathbb{R}, \alpha^T R_x \alpha = \alpha^T E(XX^T)\alpha=E(\alpha^T XX^T\alpha)=E((\alpha^T X)^2)\geq 0$

(之所以可以将α移动到E内是因为α是一个确定的数，而 $\alpha^TX$表示一列乘一行，结果为一个数即可以表示为平方)

任意一个随机过程的相关函数都是正定的，反之，任意给定一个正定函数都能构造一个随机过程的相关函数。

4.几何角度理解相关函数

引入内积从几何的角度理解随机变量的相关性，即$E(XY) = <X, Y>$

首先，针对内积的三条性质：

• 对称性: $<X, Y> = <Y, X>$, E(X,Y)满足
• 非负性: $<X,X> \geq 0$， 当 $<X,X>=0, X = 0$，虽然$E(X2)^2$ 并不能推出 $E(X) = 0$，但是$P(X=0)=1$，也算满足。

但是这里需要注意的是随机变量渠道某个值的概率为0不代表这件事情不会发生，比如在实轴[0,1]区间取到某个无理数的概率为0，但这件事情是可以发生

• 双线性(固定其中一个随机变量，另外一个可以被线性表示): $<X, \alpha Y+\beta Z> = \alpha E(X,Y)+\beta E(X,Z)$ $<\alpha X+\beta Z, Y> = \alpha E(X,Z)+\beta E(Y,Z)$，也满足。

内积的几何含义是夹角： $cos<x, y> = \frac{<x, y>}{(<x, x>, <y, y>)^2}$ 对应的，随机变量中的相关系数即对应到内积的夹角: $cos<X,Y>=\frac{XY}{(EX^2EY^2)^{\frac{1}{2}}}$

注意推广内积应用到其他领域需要满足【柯西-施瓦兹不等式】，简言之，即单独 $\geq$ 整体

如果再次从这个角度理解此前出现的满足最小均方误差时的直线斜率$\alpha$，即将随机变量看为矢量：

要在x上寻找一个向量，到y的距离最近，这个向量就是 α，求解过程如下：

$||Y||cos\theta \frac{X}{||X||} = (\frac{||Y||}{||X||}cos\theta) X= (\frac{||Y||}{||X||}\frac{E(XY)}{E(X)^2E(Y)^2})X=(\frac{||Y||}{||X||}\frac{E(XY)}{||X||||Y||})X=\frac{E(XY)}{||X||^2} = \frac{E(XY)}{E(X)^2}=\alpha$

5.宽平稳（弱平稳过程）

平稳即随着时间的变化却保持不变， 不同的统计性质会有不一样的平稳

考察随机过程是否为宽平稳从以下两个角度进行：

1. 条件一：（一阶矩）均值函数为常数（存在常数$\mu$，使得$\mu_X(t)=\mu , t\in T$ $E(X(t)) = m(t) \equiv m$
2. 条件二：（二阶矩）自相关函数仅与时间差有关（存在函数使得$r_X(s, t) = f_X(s-t), s, t\in T$） $R_X(t, s) = R_x(t+D, s+D) ,\forall D\in \mathbb{R}$

条件一（一阶矩）可以通过$X(t)-m(t)$构造出，所以重心应该放在条件二二阶矩处，其强调的是$R_X(t, s)$的函数值只和t、s两个时刻之间的间距相关，而与t、s两个时刻具体所处的位置无关，这意味着条件二可以简化为：$R_X(\tau) = R_X(t-s)$

• 实例 振幅调制过程：$X(t) = A(t)cos(2\pi f_0t+\theta)$，其中振幅调制函数A(t)是随机的，相位调制函数中的θ在(0, 2$\pi$)上均匀分布，二者相互独立($\theta$和$t$无关)，判断其是否为宽平稳。

1. 通过一阶矩考察条件一是否满足

$E(X) = E(A(t))E(cos(2\pi f_0t+\theta)) = E(A(t) = \int_0^{2\pi}frac{1}{2\pi}cos(2\pi f_0t+\theta))d\theta =0$
2. 通过二阶矩（相关性$R_X(t, s)$）考察满足条件二

$R_X(t, s) = E(A(t)A(s))E(cos(2\pi f_0t+\theta)(cos(2\pi f_0s+\theta))$

(上一步到下一步运用的是积化和差)

$= E(A(t)A(s))\frac{1}{2}(E(cos(2\pi f_0(t+s)+2\theta) + E(cos(2\pi f_0(t-s))$

（巧妙的转化出了$2\theta$，即最终$cos(2\pi f_0(t+s)+2\theta)$一定为0）

$= \frac{1}{2}E(A(t)A(s))cos(2\pi f_0(t-s))$

（所以最终落脚点在于$E(A(t)A(s))$是否为宽平稳，如果是，则可以推出下式）

$=\frac{1}{2}R_A(t-s)cos(2\pi f_0(t-s))$（完毕）
==而由宽平稳局部具有的特性可以推出（决定）整体，简言之，部分区间连续则整体连续，部分区间呈现周期性，则整体呈现周期性，此处仅介绍周期性的推广==

对于宽平稳，如果在t = 0处对应的函数值在另外一个时刻 t = T出现，则说明这种情况在后面也极有可能发生。用数学语言阐述就是：

$\exist T, R_X(0)=R_X(T) \Longleftrightarrow \forall t R_X(t+T)=R_X(t)$

(此处有$E|X(0)-X(T)|^2=0$的中间推导，而对于宽平稳来说有$E|X(t)-X(t+T)|^2=0$ )

1. $E|X(0)-X(T)|^2$展开后有：$E|X(0)-X(T)|^2=E(0)^2+E(T)^2-2E(X(0)X(T))$

(由已知条件：T时刻出现了和0时刻同样的情况，即$X(0)=X(T)$)

$=R_X(0)+R_X(T)-2R_X(T)=2R_X(0)-2R_X(T)=0$

2. $|R_t(t+T)-R_X(t)| = |E(X(t)X(t+T))- E(X(t))E(X(t+T))|=|E(X(t)E(X(t+T)-X(t)))|$

（由柯西不等式）

$\leq (Ex^2（t）E(X(t+T)-X(t)^2)^{\frac{1}{2}} = 0$