统计学习——随机过程

一 基本知识

随机过程：我的理解是随机变量的集合.比如X(t)=Acos(wt+θ),t>=0,A,w为常数,θ为[0,2π]上均匀分布的随机变量.对于固定的t,X(t)是一个随机变量,它是θ的函数.由于θ是一个随机变量,那么它的函数也是随机变量.对于不同的t,如t1,t2.X(t1),X(t2)就是两个不同的随机变量.所以你只要搞清随机变量这个概念, 随机过程即在随机变量的基础上引入时间的概念，随机过程只是在时间上的一串随机变量罢了.

随机场：一组随机变量，他们样本空间一样，那么就是随机场。当这些随机变量之间有依赖关系的时才是有意义的。 随机场包含两个要素：位置（site），相空间（phase space）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方。“位置”好比是一亩亩农田； “相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以，俗气点说，随机场就是在哪块地里种什么庄稼的事情。

马尔科夫过程和马尔可夫链：在时间轴上，由上一个状态转换到当前一个状态，当前的状态只与前面有限个状态有关，这个转换过程称之为马尔科夫过程，而这些状态组成的序列称之为马尔可夫链。如果，当前的状态只与前面的一个状态相关，则称之为一阶马尔可夫链；如果是N个，则称之为N阶马尔可夫链。

高斯过程和高斯混合模型的区别：高斯过程指的当前的状态序列符合高维的高斯分布，加入下一个状态组成的新的状态序列还是一个高斯分布；而高斯混合模型是一个序列中，每个元素都符合高斯分布。

判别式模型与生成式模型的区别：产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于，对于输入x，类别标签y：产生式模型估计它们的联合概率分布P(x,y)；判别式模型估计条件概率分布P(y|x)。

无向概率图模型：亦称马尔科夫随机场(Markov Random Fields, MRF’s)或马尔科夫网络(Markov Networks)。

有向概率图模型：亦称贝叶斯网络(Bayesian Networks)或信念网络(Belief Networks, BN’s)。

马尔科夫随机场：设联合概率密度分布的P(Y)，由无向图G=(V,E)表示，结点表示随机变量，变量表示随机变量的依赖关系，如果联合概率密度分布P(Y)满足成对、局部或全局马尔可夫性，那么此概率分布为无向概率图模型（马尔科夫随机场）。

马尔科夫毛毯：在有向图模型中，该节点的父亲结点，孩子结点，以及孩子的父亲结点组成的马尔科夫毯。而在无向图模型中，该结点的邻接结点组成马尔科夫毯。七月算法视频网站

 $$ x = \dfrac{-b \pm \sqrt{b^2 - 4ac}}{2a} $$