随笔分类 - NLP
NLP
摘要:什么是命名实体识别(NER) 定义: 命名实体识别(NER):也称实体识别、实体分块和实体提取,是信息提取的一个子任务, 指在将文本汇总的命名实体定位,并分类为预先定义的类别,如: 人员、组织、位置、时间 表达式、数量、货币值、百分比等。 注意: 中文的NER与英文的不太一样,中文NER问题很大程度
阅读全文
摘要:word2vec 详解 传统的word2vec 神经网络将词表中的词语作为输入(一般输入哑编码的单词),输出一个低维度的向量表示这个词语,然后用反向传播的方法不断优化参数。输出的低维向量是神经网络第一层的输出,这一层通常也称作Embedding Layer。 缺点: 使用的是全连接的方法,造成计算量
阅读全文
摘要:word2vec实战:获取处理中文维基百科(Wikipedia)语料库,训练成word2vec模型,并实现词云的应用 背景 word2vec 谷歌开源项目,主要理论有Tomas Mikolov团队2篇论文组成,下载链接如下: https://arxiv.org/pdf/1301.3781.pdf h
阅读全文