mantch - 博客园

摘要：具体说来，只要将每个汉字组词时所处的位置(首尾等)作为标签，则中文分词就转化为给定汉字序列找出标签序列的问题。一般而言，由字构词是序列标注模型的一种应用。在所有“序列标注”模型中，隐马尔可夫模型是最基础的一种。阅读全文

posted @ 2020-02-08 20:29 mantch 阅读(2010) 评论(0) 推荐(0) 编辑

摘要：我们人类确知道第二种更加合理，只因为我们从小到大接触的都是第二种分词，出现的次数多，所以我们判定第二种是正确地选择。这就是利用了**统计自然语言处理**。统计自然语言处理的核心话题之一，就是如何利用统计手法对语言建模，这一章讲的就是二元语法的统计语言模型。阅读全文

posted @ 2020-02-05 20:00 mantch 阅读(2511) 评论(0) 推荐(3) 编辑

HanLP《自然语言处理入门》笔记--2.词典分词

摘要：词典分词2.1 什么是词2.2 词典2.3 切分算法2.4 字典树2.5 基于字典树的其它算法2.6 HanLP的词典分词实现2.7 GitHub项目 2. 词典分词中文分词：指的是将一段文本拆分为一系列单词的过程，这些单词顺序拼接后等于原文本。中文分词算法大致分为基于词典规则与基于机器学习这两大派。 2.1 什么是词在基于词典的中文分词中，词的定义要现实得多：词典中的... 阅读全文

posted @ 2020-02-05 13:57 mantch 阅读(1705) 评论(0) 推荐(2) 编辑

HanLP《自然语言处理入门》笔记--1.新手上路

摘要： **自然语言处理**(Natural Language Processing，NLP)是一门融合了计算机科学、人工智能及语言学的交叉学科，它们的关系如下图所示。这门学科研究的是如何通过机器学习等技术，让计算机学会处理人类语言，乃至实现终极目标--理解人类语言或人工智能。阅读全文

posted @ 2020-02-04 21:42 mantch 阅读(2138) 评论(0) 推荐(3) 编辑

XLNet预训练模型，看这篇就够了！(代码实现)

摘要：文章目录1. 什么是XLNet2. 自回归语言模型（Autoregressive LM）3. 自编码语言模型（Autoencoder LM）4. XLNet模型4.1 排列语言建模（Permutation Language Modeling）4.2 Transformer XL4.2.1 vanilla Transformer4.2.2 Transformer XL5. XLNet与BERT比较6... 阅读全文

posted @ 2019-09-30 10:58 mantch 阅读(7480) 评论(0) 推荐(0) 编辑

BERT预训练模型的演进过程！(附代码)

摘要： 1. 什么是BERT BERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两... 阅读全文

posted @ 2019-09-28 21:58 mantch 阅读(7009) 评论(0) 推荐(1) 编辑

Transformer各层网络结构详解！面试必备！(附代码实现)

摘要： 1. 什么是Transformer 《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等... 阅读全文

posted @ 2019-09-26 15:08 mantch 阅读(39404) 评论(2) 推荐(3) 编辑

推荐系统--完整的架构设计和算法(协同过滤、隐语义)

摘要： 1. 什么是推荐系统推荐系统是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解... 阅读全文

posted @ 2019-09-09 09:40 mantch 阅读(4969) 评论(1) 推荐(4) 编辑

Attention机制的精要总结，附：中英文机器翻译的实现！

摘要： 1. 什么是Attention机制在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。现在，让我们再次思考那⼀节提到的翻译例⼦：输⼊为英语序列“They”“are”“watching”“.”，输出为法语序列“Ils”“regardent”“.”。不难想到，解码器在⽣成输出序列中的每⼀... 阅读全文

posted @ 2019-08-31 18:48 mantch 阅读(1641) 评论(0) 推荐(0) 编辑

seq2seq通俗理解----编码器和解码器(TensorFlow实现)

摘要：文章目录1. 什么是seq2seq2. 编码器3. 解码器4. 训练模型5. seq2seq模型预测5.1 贪婪搜索5.2 穷举搜索5.3 束搜索6. Bleu得分7. 代码实现8. 参考文献 1. 什么是seq2seq 在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列，输出可以是⼀段不定⻓的法语⽂本序列，例如：英语输⼊：“They”、... 阅读全文

posted @ 2019-08-30 11:01 mantch 阅读(8849) 评论(0) 推荐(1) 编辑

导航

2020年2月8日

2020年2月5日

2020年2月4日

2019年9月30日

2019年9月28日

2019年9月26日

2019年9月9日

2019年8月31日

2019年8月30日


Copyright © 2024 mantch Powered by .NET 8.0 on Kubernetes 博客园