条件随机场

条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。
图是由结点及连接结点的边组成的集合。结点和边分别记作v和e，结点和边的结合分别记作V和E，图记作G=(V,E).无向图是指边没有方向的图
概率图模型是由图表示的概率分布。设有联合概率分布P(Y),\(Y\in y\)是一组随机变量，由无向图G=(V,E)表示概率分布P(Y),即在图G中，结点\(v\in V\)表示一个随机变量\(Y_v\),\(Y=(Y_v)_{v\in V}\);边\(e\in E\)表示随机变量之间的概率依赖关系
成对马尔可夫性：
设u和v是无向图G中任意两个没有变连接的结点，结点u和v分别对应随机变量\(Y_u,Y_v\).其他所有结点为O，对应的随机变量组是\(Y_O\).成对马尔可夫性是指给定随机变量组\(Y_O\)的条件下随机变量\(Y_u，Y_v\)是条件独立的，即\(P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O)\)

局部马尔可夫性：
设v是无向图G中任意个结点，W是与v有边连接的所有结点，O是v,W以外的其他所有结点。v表示的随机变量是\(Y_v\)，W表示的随机变量组是\(Y_W\),O表示的随机变量组是\(Y_O\).局部马尔可夫性是指在给定随机变量组\(Y_W\)的条件下随机变量\(Y_V\)与随机变量组\(Y_O\)是独立的，即\(P(Y_v,Y_O|Y_W)=P(Y_v|Y_W)P(Y_O|Y_W)\)
等价地，\(P(Y_v|Y_W)=P(Y_v|Y_W,Y_O)\)。即\(Y_O\)

全局马尔可夫性:设结点集合A,B是在无向图G中被结点结合C分开的任意结点集合。结点集合A,B和C所对应的随机变量组分别是\(Y_A,Y_B和Y_C\)。全局马尔可夫性是指给定随机变量组\(Y_C\)条件下随机变量组\(Y_A,Y_B\)是条件独立的，即\(P(Y_A,Y_B|Y_C)=P(Y_A|Y_C)P(Y_B|Y_C)\)

概率无向图模型
设有联合概率分布P(Y),由无向图G=(V,E)表示。如果联合概率分布P(Y)满足成对、局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型，或马尔可夫随机场

无向图G中任何两个结点均有边连接的结点子集称为团，若C是无向图G的一个团，并且不能再加进任何一个G的结点使其成为一个更大的团，则称此C为最大团。
将概率无向图模型的联合概率分布表示为其最大团上的随机变量的函数的乘积形式的操作，称为概率无向图模型的因子分解。
给定概率无向图模型，设其无向图为G，C为G上的最大团，\(Y_C\)表示C对应的随机变量，那么概率无向图模型的联合概率分布P(Y)可写作图中所有最大团C上的函数\(\Psi_C(Y_C)\)的乘积形式，即\(P(Y)=\frac{1}{Z}\prod_{C}\Psi_C(Y_C)\)
,其中Z是规范因子，Z=\(\sum_{Y}\prod_C\Psi_C(Y_C)\)
函数\(\Psi_C(Y_C)\)称为势函数，这里要求势函数\(\Psi_C(Y_C)\)是严格正的，通常定义为指数函数:\(\Psi_C(Y_C)=exp(-E(Y_C))\)

条件随机场是给定随机变量X条件下，随机变量Y的马尔可夫随机场。
设X与Y是随机变量，P(Y|X)是在给定X的条件下Y的条件概率分布。若随机变量Y构成一个由无向图G=(V,E)表示的马尔可夫随机场，即\(P(Y_v|X,Y_w,w\neq v)=P(Y_v|X,Y_w,w\)~\(v\))
对任意结点v成立，则称条件概率分布P(Y|X)为条件随机场，式中\(w\)~\(v\)表示在图G=(V,E)中与结点v有边连接的所有结点w，\(w \neq v\)表示结点v以外的所有结点，\(Y_v，Y_u\)与\(Y_w\)为结点v,u与w对应的随机变量。

设\(X=(X_1，\cdots,X_n),Y=(Y_1,Y_2,\dots,Y_n)\)均为线性链表示的随机变量序列，若在给定随机变量序列X的条件下，随机变量序列Y的条件概率分布P(Y|X)构成条件随机场，即满足马尔可夫性\(P(Y_i|X,Y_1,\cdots,Y_{i-1},Y_{i+1},\cdots,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1}),i=1,2,\cdots,n(在i=1和n时只考虑单边)\)
则称P(Y|X)为线性链条件随机场。在标注问题中，X表示输入观测序列，Y表示对应的输出标记序列或状态序列。