NLP学习笔记02---NLP概述(NLP领域的关键技术和应用场景)

1.什么是NLP

 

2.NLP领域的挑战

(1)同一个意思有多种表达方式

(2)一词多义(Ambiguity)

解决一词多义的问题方法：从数据中学习(结合上下文Context)

 

3.机器翻译系统的案例

 

上图的意思：根据表中的12对翻译结果，翻译所给出的一句话。

做法：给定语料库，在语料库中做统计，进行匹配(基于统计学)。

缺点：<1>慢  <2>上下文  <3>语义 <4>语法不对 <5>规则统计

4.机器翻译的常规步骤

<1>分词

<2>根据词典翻译成英文(获得broken english)，将这些词对应的所有的组合罗列出来。

<3>将第2步所得的英文文本输入到语言模型LM中，得到对应的概率。

上述方法第2步罗列所有可能的计算量特别大需要优化。

Viterbi算法：维特比算法是一个特殊但应用最广的动态规划算法(DP)

机器翻译框架总结：

 

 

5.语言模型

常用的语言模型：unigram、bigram、trigram

原理说明：利用马尔科夫假设对蓝色式子进行简化。

6.NLP的应用场景

<1>问答系统

<2>情感分析(Sentiment Analysis)

<3>机器翻译

<4>自动摘要

<5>聊天机器人

<6>信息抽取(Information extraction)

7.NLP的关键技术

(1)NLP技术的4个维度

(2)分词(word segmentation)

(3)词性分析

(4)命名实体识别(Named Entity Recogniton)

(5)句法分析

(6)依存分析

(7)关系抽取