inside-outside 算法以及应用

学习一下inside-outside算法，主要用于在已知文法结构下CFG，无监督parse。

CFG可定义为 $(N,\Sigma,R,S)$ Chomsky Normal Form，对于生成的任何一个分析树有对应的potential值，树的potential值由其生成规则的potential值之乘积。因此对于potential的不同定义可衍生出类似的CFG，例如：

1，将其potential定义为概率，则衍生出PCFG

2，将其potential定义为特征的集合表示，则衍生出CRF-style CFG

类似于forward-backward算法，inside-outside算法需定义两个变量。

$\alpha(A,i,j)$ 定义为内部的potential加和，表示以非终结符A为root，span(A) = [x_i, x_i+1, …, x_j]的所有可能subtree的potential之和。

$\beta(A,i,j)$ 定义为外部的potential加和，表示以非终结符A为root，span(A) = [x₀, x₁,…, x_i-1, A, x_j+1, …, x_n]的所有可能子结构的potential之和。

通过输入串以及CFG文法，计算inside和outside值

1， inside

初始化，如果 $A\rightarrow x_{i}$ 存在于 $R$ 中，则 $\alpha(A,i,i)=\varphi(A\rightarrow x_{i},i,i,i)$ 其中 $\varphi(A\rightarrow x_{i},i,i,i)$ 为potential值，否则为0

通过自底向上的方法依次计算inside值，过程类似于CKY-style

$\alpha(A,i,j)=\sum_{(A\rightarrow BC)\in R}\sum_{k=i}^{j-1}\varphi(A\rightarrow BC,i,k,j)\cdot\alpha(B,i,k)\cdot\alpha(C,k+1,j)$

2，outside

初始化， $\beta(S,1,n)=1$ 其余都为0

通过自顶向下的方法依次计算outside值

outside值分为两个部分

$B\rightarrow AC$ 即A在span(i,j)的outside值为B在span(i,k)的outside值乘以C在span(j+1,k)的inside值

$B\rightarrow CA$ 即A在span(i,j)的outside值为B在span(k,i)的outside值乘以C在span(k,i-1)的inside值

因此计算公式为

$\beta(A,i,j)=\sum_{(B\rigtharrow AC)\in R}\sum_{k=j+1}^{n}\varphi(B\rightarrow AC,i,j,k)\cdot\beta(B,i,k)\cdot\alpha(C,j+1,k)+\sum_{(B\rigtharrow CA)\in R}\sum_{k=0}^{i-1}\varphi(B\rightarrow CA,k,i-1,j)\cdot\beta(B,k,j)\cdot\alpha(C,k,i-1)$

通过inside和outside的值可以计算的内容如下（一个句子）：

所有可能的parse树potential值之和 $Z_{s}=\alpha(S,1,n)$

在这些所有可能的parse树中，包含规则 $(A\rightarrow BC,i,k,j)$ 的parse树potential值之和 $\mu(A\rightarrow BC,i,k,j)=\varphi(A\rightarrow BC,i,k,j)\cdot\beta(A,i,j)\codt\alpha(B,i,k)\alpha(C,k+1,j)$

此外可以计算在所有可能的parse树中，存在非终结符A，span(A) = [x_i, x_i+1, …, x_j]的parse树potential值之和

$\mu(A,i,j)=\sum_{t\in T:(A,i,j)\in t}\varphi(t)=\sum_{t^{1}\in I(A,i,j)}\sum_{t^{2}\in O(A,i,j)}\varphi(t^{1})\cdot\varphi(t^{2})=\alpha(A,i,j)\beta(A,i,j)$

因此，在PCFG中参数估算中可使用inside-outside算法，potential函数定义为规则概率。在CRF-CFG中potential函数定义为特征向量的形式。

PCFG参数估计

首先定义potential函数

$\varphi(A\rightarrow BC,i,k,j)=q(A\rightarrow BC)$

通过inside-outside算法可以得到一个句子所有可能性parse树potential之和，以及包含某个规则的所有parse树potential之和，因此：

$count(A\rightarrow BC)=\sum_{i,k,j}\frac{\varphi(A\rightarrow BC,i,k,j)}{Z_{s}}$

$q(A\rightarrow BC)=\frac{count(A\rightarrow BC)}{\sum_{r}count(r)}$

以此形式不断的迭代从而估计规则概率值

CRF-CFG参数估计(此部分还是有些不清楚)

首先定义potential函数

$\varphi(A\rightarrow BC,i,k,j)=exp\sum_{i}\theta_{i}f_{i}(A\rightarrow BC,i,k,j)$

余下的问题就是，在CRF-CFG中估计特征权重。在传统的PCFG中使用公式计算规则数量然后归一化成概率。而在CRF-CFG中规则是以某些特征值表示，因此需要估计的是特征的权重。

然后构造似然函数

$L(D;\theta)=\sum_{(t,s)\in D}(\sum_{r\in t}\sum_{i}\theta_{i}f_{i}(r,s)-Z_{s})+\sum_{i}\frac{\theta_{i}^2}{2\sigma^{2}}$

在各个参数上求偏导（梯度矩阵）

$\frac{\partial L(D;\theta)}{\partial\theta_{i}}=\sum_{(t,s)\in D}(\sum_{r\in t}f_{i}(r,s)-E_{\theta}[f_{i}|s])+\frac{\theta_{i}}{\sigma^{2}}$

此偏导表示某一特证“实际计数得到的值”与“在参数下模型期望的值”的差值，这种差值主要变现在上式的括号中，第一部分为实际计数得到的值，第二部分为在theta参数下模型期望值。

posted @ 2014-06-13 17:45 LeonCrash 阅读(1746) 评论(1) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

LeonCrash

http://jmliunlp.wordpress.com/

inside-outside 算法以及应用

公告