自然语言处理(五)深度学习

1、tips

1、行业基准:用词袋模型表示句子,用SVM或LR做回归,用自己的模型和它做对比
2、分词:启发式或机器学习(HMM,CRF)
3、深度学习是端到端的

2、Auto-Encoder

可将语料编码化,降维降噪

3、CNN

机器自动学习卷积滤镜

用word2vec将一句话处理成一个矩阵,用CNN

案例:文本—>(预处理、TF-IDF、word2vec) —>词向量—>(LR、SVM、LSTM)—>标签

4、RNN—>LSTM

通过遗忘门、记忆门等控制。例如,异或就是遗忘,和1相与就是记忆等。

遗忘还是记忆是机器自己学习的。

另外还有更新门和输出门

案例:用于判断生成下一个词、句子、单词、图片等。

总结:AE用于压缩问题;CNN用于文本分类;RNN用于文本生成

posted @ 2017-07-26 22:29  谦芊珺  阅读(330)  评论(0编辑  收藏  举报