jieba分词库——基于 TextRank 算法的关键词抽取

基于 TextRank 算法的关键词抽取

TextRank算法

TD-IDF是基于词频的算法，而TextRank是基于图 形的算法。

TextRank是受到PageRank算法的启发。

PageRank算法

PageRank主要用于对在线搜索结果中的网页进行排序。

PageRank对于每个网页页面都给出一个正实数，表示网页的重要程度，PageRank值越高，表示网页越重要，在互联网搜索的排序中越可能被排在前面。同样，被链接的网页的PageRank值也会相应的因此而提高。

假设整个互联网是一个有向图，节点是网页，每条边是转移概率。网页浏览者在每个页面上依照连接出去的超链接，以等概率跳转到下一个网页，并且在网页上持续不断地进行这样的随机跳转，这个过程形成了一阶马尔科夫链，比如下图：

 

每个笑脸是一个网页，既有其他网页跳转到该网页，该网页也会跳转到其他网页。在不断地跳转之后，这个马尔科夫链会形成一个平稳分布，而PageRank就是这个平稳分布，每个网页的PageRank值就是平稳概率。

　　PageRank的核心公式是PageRank值的计算公式。公式如下：

 

 

 

其中，PR(Vi)表示结点Vi的rank值，In(Vi)表示结点Vi的前驱结点集合，Out(Vj)表示结点Vj的后继结点集合。
　　这个公式来自于《统计学习方法》，等号右边的平滑项（通过某种处理，避免一些突变的畸形值，尽可能接近实际情况）不是（1-d），而是(1-d)/n。
　　阻尼系数d(damping factor)的意义是，在任意时刻，用户到达某页面后并继续向后浏览的概率。1-d就是用户停止点击，随机跳到新URL的概率。
　　加平滑项是因为有些网页没有跳出去的链接，那么转移到其他网页的概率将会是0，这样就无法保证存在马尔科夫链的平稳分布。
　　于是，我们假设网页以等概率（1/n）跳转到任何网页，再按照阻尼系数d，对这个等概率（1/n）与存在链接的网页的转移概率进行线性组合，那么马尔科夫链一定存在平稳分布，一定可以得到网页的PageRank值。

　　所以PageRank的定义意味着网页浏览者按照以下方式在网上随机游走：以概率d按照存在的超链接随机跳转，以等概率从超链接跳转到下一个页面；或以概率(1-d)进行完全随机跳转，这时以等概率（1/n）跳转到任意网页。

　　PageRank的计算是一个迭代过程，先假设一个初始的PageRank分布，通过迭代，不断计算所有网页的PageRank值，直到收敛为止，也就是：

　　

 

 

从PageRank到TextRank算法

　　和基于词频( TF-IDF )相比，TextRank进一步考虑了文档内词条之间的语义关系。 也就是说考虑到额这个词条的上下文，如果这个词的上下文都是一些很重要的词，那么这个词大概率也是很重要的词。 

基本原理：

• 将文档按照整句进行分割
• 分词并清理，只保留指定词性的词条
• 以整句为单位计算词条的共现矩阵（主要用于发现主题，解决词向量相近关系的表示 ），只要在一个句子里出现，就要考虑共现性了，
• 按指定窗口长度K，构建词条网络
• 基于网络连接特征计算词条重要性
• 排序并输出结果

TextRank算法介绍

TextRank

TextRank 算法是一种用于文本的基于图的排序算法。其基本思想来源于谷歌的 PageRank算法, 通过把文本分割成若干组成单元(单词、句子)并建立图模型, 利用投票机制对文本中的重要成分进行排序, 仅利用单篇文档本身的信息即可实现关键词提取、文摘。和 LDA、HMM 等模型不同, TextRank不需要事先对多篇文档进行学习训练, 因其简洁有效而得到广泛应用。

　　TextRank 一般模型可以表示为一个有向有权图 G =(V, E), 由点集合 V和边集合 E 组成, E 是V ×V的子集。图中任两点 Vi , Vj 之间边的权重为 wji , 对于一个给定的点 Vi, In(Vi) 为 指 向 该 点 的 点 集 合 , Out(Vi) 为点 Vi 指向的点集合。点 Vi 的得分定义如下:

 

 其中, d 为阻尼系数, 取值范围为 0 到 1, 代表从图中某一特定点指向其他任意点的概率, 一般取值为 0.85。使用TextRank 算法计算图中各点的得分时, 需要给图中的点指定任意的初值, 并递归计算直到收敛, 即图中任意一点的误差率小于给定的极限值时就可以达到收敛, 一般该极限值取 0.0001。

1. 基于TextRank的关键词提取

关键词抽取的任务就是从一段给定的文本中自动抽取出若干有意义的词语或词组。TextRank算法是利用局部词汇之间关系（共现窗口）对后续关键词进行排序，直接从文本本身抽取。其主要步骤如下：

（1）把给定的文本T按照完整句子进行分割，即

 (2）对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，即，其中是保留后的候选关键词。

（3）构建候选关键词图G = (V,E)，其中V为节点集，由（2）生成的候选关键词组成，然后采用共现关系（co-occurrence）构造任两点之间的边，两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现，K表示窗口大小，即最多共现K个单词。

（4）根据上面公式，迭代传播各节点的权重，直至收敛。

（5）对节点权重进行倒序排序，从而得到最重要的T个单词，作为候选关键词。 

（6）由（5）得到最重要的T个单词，在原始文本中进行标记，若形成相邻词组，则组合成多词关键词。例如，文本中有句子“Matlab code for plotting ambiguity function”，如果“Matlab”和“code”均属于候选关键词，则组合成“Matlab code”加入关键词序列。

 

词性和专名类别标签集合如下表，其中我们将最常用的4个专名类别标记为大写的形式：

https://github.com/baidu/lac

 

 

 用法示例：

def textrank(partition):
    import os

    import jieba
    import jieba.analyse
    import jieba.posseg as pseg
    import codecs

    

    class TextRank(jieba.analyse.TextRank):
        def __init__(self, window=20, word_min_len=2):
            super(TextRank, self).__init__()
            self.span = window  # 窗口大小
            self.word_min_len = word_min_len  # 单词的最小长度
            # 要保留的词性，根据jieba github ，具体参见https://github.com/baidu/lac
            self.pos_filt = frozenset(
                ('n', 'x', 'eng', 'f', 's', 't', 'nr', 'ns', 'nt', "nw", "nz", "PER", "LOC", "ORG"))

        def pairfilter(self, wp):
            """过滤条件，返回True或者False"""

            if wp.flag == "eng":
                if len(wp.word) <= 2:
                    return False

            if wp.flag in self.pos_filt and len(wp.word.strip()) >= self.word_min_len \
                    and wp.word.lower() not in stopwords_list:
                return True
    # TextRank过滤窗口大小为5，单词最小为2
    textrank_model = TextRank(window=5, word_min_len=2)
    allowPOS = ('n', "x", 'eng', 'nr', 'ns', 'nt', "nw", "nz", "c")

    for row in partition:
        tags = textrank_model.textrank(row.sentence, topK=20, withWeight=True, allowPOS=allowPOS, withFlag=False)
        for tag in tags:
            yield row.article_id, row.channel_id, tag[0], tag[1]