DAYceng

摘要： NLP中分词是一件麻烦事，nltk可以一定程度上优雅的解决一些需求 如果你去搜索“nltk安装”，那么多半会得到以下的代码 import nltk nltk.download() 你多半不会进入如下界面（因为网络问题会提示远程连接失败） 然后你什么都没下载就试图去使用nltk，会报错如下： Look 阅读全文

摘要： NLTK项目地址： https://github.com/nltk/nltk_data/tree/gh-pages/packages NLTK基础分词用例： https://www.cnblogs.com/ketmales/archive/2013/05/31/3111046.html 词性标注： 阅读全文

摘要： 词嵌入的特性 现在你有了一堆嵌入向量，我们可以开始学习他们之间的特性了 前情提要：https://www.cnblogs.com/DAYceng/p/14962528.html 先把各向量重新命名便于区分 Man对应e_man① Woman对应e_woman② King对应e_king③ Queen 阅读全文

摘要： 在了解什么是**嵌入（embeddings）**之前，我们需要先搞清楚一个词语在NLP中是如何被表示的 注：本次不涉及任何具体算法，只是单纯对概念的理解 词汇表征 One-Hot 词汇的表示方法有很多，最有名的肯定是独热编码（One-Hot ）了。因为不是重点，所以下面只简单介绍一下 废话不多说，上 阅读全文

摘要： 梳理一下Pytorch项目的基本结构（其实TF的也差不多是这样，这种思路可以迁移到别的深度学习框架中） 结构树 checkpoints #存放训练完成的模型文件 ​ xxx.pkl #模型文件 data #存放数据文件（如txt）或者数据预处理文件 ​ __ init __.py ​ xxx.txt 阅读全文

摘要： 概念 隐马尔可夫模型描述的是两个时序序列联合分布p(x,y)的概率模型，其中包含了两个序列： x序列外界可见(外界指的是观测者)，称为观测序列(obsevation seuence) y序列外界不可见，称为状态序列( state sequence) 如观测x为单词，状态y为词性，我们需要根据单词序列 阅读全文

摘要： 命名实体识别 概念 命名实体识别(Named Entity Recognition,简称NER) , 是指识别文本中具有特定意义的词（实体），主要包括人名、地名、机构名、专有名词等等,并把我们需要识别的词在文本序列中标注出来。 例如有一段文本:天津市空港经济区 我们要在上面文本中识别一些区域和地点, 阅读全文

摘要： 三大范式 1NF 第一范式 强调列的原子性，即列不可分 例如： 2NF 第二范式 前提是1NF,另外包含两个部分： 表必须具有一个主键； 没有包含在主键中的列必须完全依赖于主键,而不是只依赖主键的一部分；主键有多个列判断 例如： 上述表中，表（1）不能由单独的OederID（订单号）或者Produc 阅读全文

摘要： 工厂模式 工厂模式中的“工厂”实际上就是把类看成制造某种模板的工具（工厂），由这个类生成的实例除了本身自有的属性外，还可以通过指定的方式产出具有不同属性的同一类实例 比如：有一个面包房，它提供面包制作服务，在面包做好之后，你可以选择撒上不同的调味料，从而得到不同的面包。但这些食物仍属于面包这个范畴。 阅读全文

摘要： Python对象包括三个部分：id（identity识别码）、type（对象类型）、value（对象的值） __ init __()构造函数 __ init __()方法应用定义构造函数，作用是在实例化对象时，初始化当前对象的属性，无返回值。相当于给对象一个固有属性。 __ init __()”规则 阅读全文