文本相关杂七杂八

一、词袋模型

维度=|词典|; 稀疏向量

假设词典里有7个单词【我们,去,爬山,今天,你们,昨天,运动】

每个单词的表示:

我们:[1,0,0,0,0,0,0]

爬山:[0,0,1,0,0,0,0]

运动:[0,0,1,0,0,0,1]

句子的表示:

我们今天去爬山:[1,1,1,1,0,0,0]

你们昨天运动:[0,0,0,0,1,1,1]

怎么表示句子的相关性?

欧式距离计算:d=|s1-s2|  只关注距离没考虑方向 , 值越高句子相似度越低

  

余弦相似度计算:d = (s1*s2)/|s1|*|s2|  值越高句子相似度越高

TFIDF

 

如何刻画每个单词的重要性,上图只考虑了词的频率,把每个单词的重要性考虑进来。TFIDF,考虑了频率和重要性。

  

  

corpus = ['He is going from Beijing to Shanghai.',
               'He denied my request, but he actually lied.',
               'Mike lost  the phone, and phone was in the car']

#方法1只考虑词频
from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer()
X=vectorizer.fit_transform(corpus)
print(X.toarray())

#方法2 考虑词频和重要性TFIDF
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
X=vectorizer.fit_transform(corpus)
print(X.toarray())

二、Word2Vec词向量表示

从词袋模型到分布式表示,通过深度学习模型Word2Vec(SkipGram, Glove, Cbow, Gaussion Embedding, Hyperbolic Embedding)将词表示成向量(计算每个单词的词向量),模式的输入是我们的语料库。

 

有了词向量后,句子向量的求法有很多:1.求平均average 2.考虑时序模型LSTM RNN(可以计算整个句子的向量)

提前准备语料库,假设是金融相关的语料库,比如研报;使用word2vec开源工具

python  word2vec.py -train wiki_sample.txt -cbow 0 -negative 10 -dim 20 -window 5 -min-count 5 

词向量模型

词向量模型包括skipGram、CBOW、Glove、ELMO、Bert、MF、NNLM等,核心思想是一个分布假设,就是相邻的单词相似度更高。

下面主要介绍下SkipGram,利用周围的信息预测中间词,关键是构造我们的目标函数。

首先是在分布假设下(相邻的单词相似度更高)构造的目标函数,但是这种目标函数的求解很困难,所有换一种同样含义的目标函数的构造方法

 

 

 换一种模型的构造方法,将原来的问题转换为二分类问题,可以沿用逻辑回归的方法。在给定窗口范围内,在中心词附近的上下文词和中心词构成了正样本,中心词与剩余的词构成了负样本,U是中心词向量,V是上下文词向量(U,V都是要求的参数θ)

  正样本数量少(根据窗口),负样本非常多,针对每一个正样本,可以进行负采样选择一组负样本。

 skipGram可以用于产品推荐,比如论文《Real-time Personalization using Embeddings for Search Ranking  at Airbnb》

如何计算每个产品的向量表示呢?我们可以用skipGram直接套在session 产品ID, 产品的点击序列, 用户兴趣短暂是不会改变,看的顺序可以转变成词向量的学习(把session信息从日志中抽取出来)

  在skipGram的基础上,基于业务的理解,做了两方面的优化,1.S1中有付费产品 S2都没付费,关注S1成单的产品,所有的中心词都要预测成单项  2.负采样不再是全局采样,而是针对性负采样,比如当前是北京的产品,负采样只针对北京的产品

 

 

 

  三、命名实体识别

 按照类型标记每一个名词。比如“张三出生于北京,北京大学毕业后去华为任职”。对于文章里面的话做进一步的分类,分类的结果可以是人名、地名、组织或时间。

命名实体识别对于知识图谱的构建十分重要,聊天机器人也十分重要。

 

 

 使用随机森林预测实体类别

 1 from sklearn.preprocessing import LabelEncoder
 2 from sklearn.model_selection import cross_val_predict
 3 from sklearn.metrics import classification_report
 4 #列名:Sentence#    word         pos      Tag
 5 #      Sentence1  Throunds       NNS       O
 6 #      Sentence1    of           IN        O
 7 
 8 data = pd.read_csv('ner_dataset.csv')
 9 #读取每句话
10 def get_sentences(data):
11      agg_func = lambda s: [(w,p,t) for w, p, t in
12      zip(s["word"].values.tolist(), s["pos"].values.tolist(),
13      s["Tag"].values.tolist())]
14      sentence_grouped = data.group("sentence#").apply(agg_func)
15      return [s for s in sentence_grouped]
16 sentences = get_sentences(data)
17 #特征工程
18 out = []
19 y = []
20 mv_tagger = MajorityVoting()
21 tag_encoder = LabelEncoder()
22 pos_encoder = LabelEncoder()
23 words = data['word'].values.tolist()
24 tags = data['Tag'].values.tolist()
25 mv_tagger.fit(words, tags)
26 tag_encoder.fit(tags)
27 pos_encoder.fit(pos)
28 for sentence in sentences:
29     # w:单词,p:词性, t:NER标签
30     for i in range(len(sentences)):
31         w, p, t = sentences[i][0], sentences[i][1], sentences[i][2]
32         # 如果不是句子中的最后一个单词,则可以提取出上下文特征
33         if i< len(sentence)-1:
34             mem_tag_r = tag_encoder.transform(mv_tagger.predict([sentence[i+1][0]])[0])[0]
35             true_pos_r = pos_encoder.transform(sentence[i+1][1])[0]
36         else:
37             mem_tag_r = tag_encoder.transform(['O'])[0]
38             true_tag_r = pos_encoder.transform(['.'])[0]
39         # 如果不是句子中的第一个单词,则可以提取上文的特征
40         if i>0:
41             mem_tag_r = tag_encoder.transform(mv_tagger.predict([sentence[i-1][0]])[0])[0]
42             true_pos_r = pos_encoder.transform(sentence[i-1][1])[0]
43         else:
44             mem_tag_r = tag_encoder.transform(['O'])[0]
45             true_tag_r = pos_encoder.transform(['.'])[0]
46         out.append(np.array([w.istitle(), w.islower(), w.isupper(), len(w), w.isdigit(), w.isalpha(),
47                              tag_encoder.transform(mv_tagger.predict([w]))[0],
48                              pos_encoder.transoform([p])[0],
49                              mem_tag_r, true_pos_r, mem_tag_r, true_tag_r]))
50         y.append(t)
51 pred = cross_val_predict(RandomForestClassifier(n_estimator=20), X=out,y=y, cv=5)
52 report = classification_report(y_pred=pred, y_true=tags)

 使用CRF预测实体类别

HM是当前词只受前一个词的影响,CRF是当前词会受一整句话有关系,考虑时序。但是参数轨迹和推断很难,无向图计算量上比有向图难很多。

def word2feature(sent, i):
    """
    :param sent: input sentence
    :param i:index of word
    """
    word = sent[i][0]
    postag = sent[i][1]
    feature = {
        'bias':1.0,
        'word.lower()':word.lower(),
        'word[-3:]':word[-3:],
        'word.isupper()':word.isupper(),
        'word.istitle()':word.istitle(),
        'word.isdigit()':word.isdigit(),
        'postag':postag,
        'postag[:2]':postag[:2],
    }
    #提取前缀特征
    if i>0:
        word1 = sent[i-1][0]
        postag1 = sent[i-1][1]
        feature.update({
            '-1:word.lower()':word1.lower(),
            '-1:word.istitle()':word1.istitle(),
            '-1:word.isupper()': word1.isupper(),
            '-1:postag':postag1,
            '-1:postag[:2]':postag1[:2]
        })
    else:
        feature['BOS']=True

    #提取下文特征
    if i<len(sent) -1:
        word1 = sent[i + 1][0]
        postag1 = sent[i + 1][1]
        feature.update({
            '+1:word.lower()': word1.lower(),
            '+1:word.istitle()': word1.istitle(),
            '+1:word.isupper()': word1.isupper(),
            '+1:postag': postag1,
            '+1:postag[:2]': postag1[:2]
        })
    else:
        feature['EOS'] = True

def sent2feature(sent):
    return [word2feature(sent,i) for i in range(len(sent))]

def sent2labels(sent):
    return [label for token, postag, label in sent]

x = [sent2feature(s) for s in sentences]
y = [sent2labels(s) for s in sentencse]
from sklearn_crfsuite import CRF
crf = CRF(algorithm='lbfgs', c1=0.1, c2=0.1, max_iterations=100 )

from sklearn.model_selection import cross_val_predict
from sklearn_crfsuite.metrics import flat_classification_report
pred = cross_val_predict(estimator=crf, X=x, y=y, cv=5)
report = flat_classification_report(y_pred=pred, y_true=y)

 四、关系抽取

方法:基于自定义模板、Bootstrap方法、监督学习方法、无监督学习方法

1.基于自定义模板

要自己去定义一条条规则,找出尽可能多的拥有“is-a”关系实体对(考虑实体类型)。有多少种关系,就有多少个实体对Table.

 

 2.基于监督学习的关系挖掘

准备条件:定义好所有实体类型(比如20种)、定义好所有的关系类型(30种)、标注好的语料库(Training data)

特征的抽取

  3. Bootstrap方法

假设你没有很多的数据来训练模型,但是你已经有设计好几个很有效的模板,大量没有标记过的数据

Bootstrap方法可以看做是半监督学习,我们能不能把这些已有的模板和数据用起来?

 

 Bootstrap方法缺点,对于每种关系,需要提前准备至少一种模板,每次迭代都有可能降低准确率,不具备概率可解释性。可以结合人工检查。

seed tuples-->new pattern--->new tuples-->new pattern--->new tuples.......

Snowball这个工具提供了评估的方法自动的去筛选最好的一些记录,它其实是bootstrap的升级版本

 五、工具

HanLP

https://github.com/hankcs/HanLP 

https://github.com/hankcs/pyhanlp 

HanLP词性标注集:http://www.hankcs.com/nlp/part-of-speech-tagging.html#h2-8

from pyhanlp import *

print(HanLP.segment('你好,欢迎在Python中调用HanLP的API'))
for term in HanLP.segment('下雨天地面积水'):
    print('{}\t{}'.format(term.word, term.nature)) # 获取单词与词性
testCases = [
    "商品和服务",
    "结婚的和尚未结婚的确实在干扰分词啊",
    "买水果然后来世博园最后去世博会",
    "中国的首都是北京",
    "欢迎新老师生前来就餐",
    "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",
    "随着页游兴起到现在的页游繁盛,依赖于存档进行逻辑判断的设计减少了,但这块也不能完全忽略掉。"]
for sentence in testCases: print(HanLP.segment(sentence))
# 关键词提取
document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露," \
           "根据刚刚完成了水资源管理制度的考核,有部分省接近了红线的指标," \
           "有部分省超过红线的指标。对一些超过红线的地方,陈明忠表示,对一些取用水项目进行区域的限批," \
           "严格地进行水资源论证和取水许可的批准。"
print(HanLP.extractKeyword(document, 2))
# 自动摘要
print(HanLP.extractSummary(document, 3))
# 依存句法分析
print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))

 

  六、实体统一

比如不同的用户可能填写地址的时候,对同一个地址的描述完全不一样,而这些地址其实指向的是同一个实体,那这个时候就需要实体统一

比如同一个公司,可能叫百度、叫百度有限公司、叫百度科技有限公司,这时候也需要实体统一

比如同一个用户用不同的手机号登陆了一个网站,但这些手机号实际上是来自于同一个实体

定义:给定两个实体,判断会否指向同一个实体?(0,1分类)

第一种方法:sim(str1, str2)

第二种方法:基于规则,常用于地址和公司名消歧。提前维护好描述库,(有限公司、无限公司、。。。)(北京市、天津市、。。。)

然后遇到“百度有限公司”,“百度科技有限公司”,“百度广州分公司”就可以通过规则映射(删掉描述库里面出现词)成原型“百度”

第三种方法:监督学习方法

 

 基于图的实体统一

 

posted @ 2019-09-16 23:35  fionaplanet  阅读(352)  评论(0编辑  收藏  举报