Atitit nlp用到的技术与功能自然语言处理 v3 t99.docx Atitit nlp用到的技术与常见类库 目录 1. 常用的技术 1 1.1. 语言处理基础技术 分词 相似度等 1 1.2

Atitit nlp用到的技术与功能自然语言处理 v3 t99.docx

Atitit nlp用到的技术与常见类库

 

目录

1. 常用的技术 1

1.1. 语言处理基础技术 分词 相似度等 1

1.2. 新闻摘要 2

1.3. 情感倾向分析 2

1.4. 文章标签 2

1.5. 文章分类 2

1.6. 文本审核 2

1.7. 机器翻译 2

1.8. 智能写作平台 3

1.9. other 3

2. Ati常用技术 3

2.1. 文档读取处理类 3

2.2. 文本信息抽取 3

2.3. 关键词提取 4

2.4. 摘要 关键词提取 与目录提取 4

2.5. 分词，ik分词器 4

2.6. 索引与检索类 4

2.7. 情感分析（歌词） 4

3. Ref 4

 

1. 常用的技术

 

 

1. 1. 语言处理基础技术 分词 相似度等

词法分析

依存句法分析

 

词向量表示

DNN语言模型

 

词义相似度

短文本相似度

语言处理应用技术

文本纠错

对话情绪识别

1. 1. 新闻摘要

 

1. 1. 情感倾向分析
   2. 文章标签

 

评论观点抽取

1. 1. 文章分类
   2. 文本审核
   3. 机器翻译

通用翻译API

拍照翻译SDK

 

定制化翻译API

垂直领域API

 

语音翻译SDK

语种识别API

• 1. 智能写作平台
  2. other
• 词性标注（Part-of Speech Tagging）:

• 拼写更正（Spelling Correction）:基于"你要找的是"风格的检查引擎
• 数据库文本挖掘（Database Text Mining）
• 字符串比较(String Comparison) ：基于距离与相似度测量，包括权重距离，TF/IDF距离，Jaccard distance, Jaro-Winkler distance,等

• 语言辨别（Language Identification）

• 推荐系统
• 【NLP】十分钟快览自然语言处理学习总结 - 伏草惟存 - 博客园.mhtml
• 这个什么有详细的推荐算法

 

1. Ati常用技术
   1. 文档读取处理类

mail类库，poi类库（处理officex系列），jsoup html类库。

org.apache.tools.zip_1.9.6   处理zip库

java-unrar  处理rar文档

pdfbox-1.8.16.jar

 

1. 1. 文本信息抽取

Zip压缩文档抽取技术

Office pdf系列文档读取技术

Eml html系列温暖的读取技术

 

分词  

1. 1. 关键词提取  

LingPipe的优势是: 貌似不包含关键词提取 内容提取

FudanNLP进行新闻关键词提取

1. 1. 摘要 关键词提取 与目录提取

Html文档摘要提取

索引与 检索

1. 1.  分词，ik分词器
   2. 索引与检索类

Lucence    imap类库mail。Jar    zip库读取库

1. 1. 情感分析（歌词）
2. Ref

百度ai

 

Atitit nlp   自然语言处理的艺术 attilax著作 v2 t55.docx

Atitit nlp   自然语言处理attilax总结 dep

java 语义分析 开源 - fengbin2005 - ITeye博客.mhtml

(17条消息)利用FudanNLP进行新闻关键词提取 - qq_43685315的博客 - CSDN博客.mhtml

Atitit java的nlp自然语言处理类库v2 t99.docx