NLTK-Chapter8.4中符合语句规则的字串表-动态规划算法的解释

一些前提数据：

tokens = ['I', 'shot', 'an', 'elephant', 'in', 'my', 'pajamas']

• tokens为将要研究的一句英文句子。

index={(DeT, N): NP,
 (Det, N, PP): NP,
 (NP, VP): S,
 (P, NP): PP,
 (V, NP): VP,
 (VP, PP): VP,
 ('I',): NP,
 ('an',): Det,
 ('elephant',): N,
 ('in',): P,
 ('my',): Det,
 ('pajamas',): N,
 ('shot',): V}

• index为文法的描述。
• numtokens=7（len(tokens)）为句子中单词的数量

图8.6中为图表的数据结构

在这个算法当中，有一个代表图表数据结构的二维表，我们把他命名为WFST。

经过下面的初始化函数，对WFST进行初始化：

def init_wfst(tokens,grammar):
    numtokens=len(tokens)
    wfst=[
        [None for i in range(numtokens+1)] for j in range(numtokens+1)
          ]
    for i in range(numtokens):
        productions=grammar.productions(rhs=tokens[i])
        wfst[i][i+1]=productions[0].lhs()
    return wfst

经过初始化之后，我们可以打印WFST，发现已经变成了下面这种情况：

[[None, NP, None, None, None, None, None, None],
 [None, None, V, None, None, None, None, None],
 [None, None, None, Det, None, None, None, None],
 [None, None, None, None, N, None, None, None],
 [None, None, None, None, None, P, None, None],
 [None, None, None, None, None, None, Det, None],
 [None, None, None, None, None, None, None, N],
 [None, None, None, None, None, None, None, None]]

WFST1 2 3 4 5 6 7
0   NP . . . . . .
1   . V . . . . .
2   . . Det . . . .
3   . . . N . . .
4   . . . . P . .
5   . . . . . Det .
6   . . . . . . N

上面两个是等价的，只不过下面的这个图更直观，好理解。每相邻两个节点之间是一个词，他们都有自己的词性。

但是这些还远远不够，为了能够更好的体现文法，还需要归约操作，将一开始的图表变成如下这样的形式：

就需要我们有一种算法，去遍历我们现在有的图表结构，来完成这个操作。

书中已经给出了算法的实现，我们需要注意的是，这是一个三角矩阵，不需要每个地方都遍历，同时，算法的难点是，要实现不同的单词数量的跨度，去完成图表WFST的赋值。

书中给出的算法代码为：

def complete_wfst(wfst,tokens, grammar,trace=False):
    index = dict((p.rhs(),p.lhs()) for p in grammar.productions())
    numtokens= len(tokens)
    for span in range(2, numtokens+1):
        for start in range(numtokens+1-span):
            end = start + span
            for mid in range(start+1, end):
                nt1,nt2 = wfst[start][mid],wfst[mid][end]
                if nt1 and nt2 and (nt1,nt2) in index:
                    wfst[start][end]= index[(nt1,nt2)]
                    if trace:
                        print "[%s] %3s[%s] %3s[%s] ==>[%s] %3s[%s]" %(start, nt1, mid,nt2,end, start, index[(nt1,nt2)], end)
    return wfst

嵌套了很多的循环，其实经过仔细分析，此算法并不难理解。为了更好的理解，可以自己手动演示一下就能理解算法的内涵，如果各位读者看着很难理解，自己走一下程序的步骤就很容易理解了：

span=2:#当值为2的时候，检查两个词之间有没有关系
    #range(numtokens+1-span=6)(0~5)
    start=0:
        end=start+span=0+2=2
        #range(start+1,end)(0+1,2)
        mid=1:
            nt1=wfst[0][1],nt2=[1][2]
    start=1:
    start=2:
        end=start+span=2+2=4
        #range(start+1,end)(3,4)
        mid=3:
            nt1=wfst[2][3],nt2=[3][4]
    start=3:
    start=4:
    start=5:
span=3:
    #range(numtokens+1-span=5)(0~4)
    start=0:
        end=start+span=0+3=3
        #range(start+1,end)(0+1,3)
        mid=1:
            nt1=wfst[0][1],nt2=wfst[1][3]
        mid=2:
            nt1=wfst[0][2],nt2=wfst[2][3]
    start=1:
    start=2:
    start=3:
span=4:
span=5:
span=6:
span=7: