随笔分类 -  深度学习与自然语言处理

摘要:1.循环神经网络 A是一组神经网络(可以理解为一个网络的自循环),它的工作是不停的接收并且输出。从图中可以看出A允许将信息不停的再内部循环,这样使得它可以保证每一步的计算都保存以前的信息 阅读全文
posted @ 2020-07-23 21:53 雨后观山色 阅读(228) 评论(0) 推荐(0) 编辑
摘要:在这个速查手册中,我们使用如下缩写: df:任意的Pandas DataFrame对象 s:任意的Pandas Series对象 raw:行标签 col:列标签 导入依赖包: import pandas as pd import numpy as np 1.导入数据 pd.read_csv(file 阅读全文
posted @ 2020-07-09 18:07 雨后观山色 阅读(448) 评论(0) 推荐(0) 编辑
摘要:1.word2vec词向量原理解析 word2vec,即词向量,就是一个词用一个向量来表示。是2013年Google提出的。word2vec工具主要包含两个模型:跳字模型(skip-gram)和连续词袋模型(continuous bag of words,简称CBOW),以及两种高效训练的方法:负采 阅读全文
posted @ 2020-06-28 14:30 雨后观山色 阅读(1904) 评论(0) 推荐(0) 编辑
摘要:1.LDA主题模型简介 主题模型的核心思想是——一篇文章中的每个词语都是经历以下两个步骤之后生成而来: 一篇文章以一定概率选择了某个主题, 然后并从这个主题中以一定概率选择某个词语。 如下图所示: 比如某一篇文档 d,它的主题分布如右方红色柱状图所示。这篇文档最有可能是一篇体育,新闻类型的文档。 : 阅读全文
posted @ 2020-06-27 21:38 雨后观山色 阅读(5105) 评论(0) 推荐(0) 编辑
摘要:1.jieba分词与词性标注 思路: (1)利用pandas读取csv文件中的酒店客户评论,并创建3个新列用来存放分词结果、词性标注结果、分词+词性标注结果 (2)利用jieba分词工具的posseg包,同时实现分词与词性标注 (3)利用停用词表对分词结果进行过滤 (4)将分词结果以20000条为单 阅读全文
posted @ 2020-06-27 18:45 雨后观山色 阅读(4129) 评论(2) 推荐(1) 编辑
摘要:1.Pandas简介 Pandas处理以下三个数据结构 - 系列(Series) 数据帧(DataFrame) 面板(Panel) 这些数据结构构建在Numpy数组之上,这意味着它们很快 考虑这些数据结构的最好方法是,较高维数据结构是其较低维数据结构的容器。 例如,DataFrame是Series的 阅读全文
posted @ 2020-06-26 10:25 雨后观山色 阅读(18679) 评论(0) 推荐(2) 编辑
摘要:使用记事本打开CSV文件。 点击菜单:文件-另存为,编码方式选择带Bom的utf-8。 阅读全文
posted @ 2020-06-25 21:34 雨后观山色 阅读(533) 评论(0) 推荐(0) 编辑
摘要:1.检查是否有合适的GPU, 若有安装Cuda与CuDNN (1)检查电脑是否有合适的GPU 在桌面上右击如果能找到NVIDA控制面板,则说明该电脑有GPU。控制面板如下,并通过查看系统信息获取支持的Cuda版本 (2)下载Cuda 官网:https://developer.nvidia.com/c 阅读全文
posted @ 2020-06-22 21:23 雨后观山色 阅读(26549) 评论(0) 推荐(1) 编辑
摘要:batch_size、epoch、iteration是深度学习中常见的几个超参数: (1)batch_size:每批数据量的大小。DL通常用SGD的优化算法进行训练,也就是一次(1 个iteration)一起训练batchsize个样本,计算它们的平均损失函数值,来更新参数。 (2)iteratio 阅读全文
posted @ 2020-06-18 11:14 雨后观山色 阅读(5299) 评论(0) 推荐(0) 编辑
摘要:1.利用python读取文件 (1)Python引入了with语句来自动帮我们调用close()方法 <1>读取指定路径下的文件 with open('/path/to/file', 'r') as f: print(f.read()) <2>写文件 with open('/Users/michae 阅读全文
posted @ 2020-06-15 18:24 雨后观山色 阅读(1244) 评论(0) 推荐(0) 编辑
摘要:1.词向量回顾 2.Bert、ELMO、GPT引出 每一个词有多个意思 (1)ELMO(Embedding from language model) (2)Bert(Bidirectional Encoder Representations from Transformer) BERT就是trans 阅读全文
posted @ 2020-06-15 10:41 雨后观山色 阅读(336) 评论(0) 推荐(0) 编辑
摘要:1.Transformer的入门简介 transformer是一种带有self-attention的seq2seq 的模型 处理seq2seq的问题最常用的架构是RNN 下图,左边的结构是RNN,右边的结构是self-attention layer,bi可以基于整个输入序列而得到的。b1,b2,b3 阅读全文
posted @ 2020-06-15 09:39 雨后观山色 阅读(975) 评论(0) 推荐(0) 编辑
摘要:1.one-of-N encoding 与word embedding 2.Word Embedding (1)生成词向量是无监督的 (2)word embedding 的含义 <1>在没有监督的情况下通过阅读大量文档来机器学习单词的含义 <2>一个词可以通过上下文来理解 (3)如何利用上下文 <1 阅读全文
posted @ 2020-06-14 21:48 雨后观山色 阅读(658) 评论(0) 推荐(0) 编辑
摘要:1.案例引出 RNN-based network 总是不容易学习。 下图展示了语言模型的损失函数与训练周期的关系。蓝色是理想的损失函数走势图,绿色是实际试验中可能出现的损失值。 损失函数存在突变的现象: 下图中可见Loss 函数的变化情况,左侧的损失函数较大,右侧的损失函数较小,存在剧烈变化的现象。 阅读全文
posted @ 2020-06-14 18:59 雨后观山色 阅读(272) 评论(0) 推荐(0) 编辑
摘要:1.RNN导出案例 Neural network needs memory 加入记忆元素的案例: 2.RNN的结构 当神经网络有了记忆后,由于存储在memory中的值不同,模型的输出也会不同。 当然,RNN的结构可以是深层的。 3.Bidirectional RNN 双向的循环神经网络 双向RNN的 阅读全文
posted @ 2020-06-14 16:57 雨后观山色 阅读(324) 评论(0) 推荐(0) 编辑
摘要:1.CNN总体架构 (1)convolution 卷积 计算方法:对应位置相乘,再将9个格子的乘积结果相加(內积)。 卷积神经网络与全连接的神经网络的区别: 将下图中的6*6的矩阵拉直成一个列向量,则下图中右边部分的4*4矩阵的第一个3是由部分值与filter的3*3矩阵內积而来 <1>卷积神经网络 阅读全文
posted @ 2020-06-14 14:56 雨后观山色 阅读(270) 评论(0) 推荐(0) 编辑
摘要:1.深度学习的发展历程 2.深度学习的三大步 (1)前馈神经网络: 神经网络的结构: 矩阵运算: 运算过程: x为(x1,x2,.....xn),b为(b1,b2,...bn) 特征工程结构图: 案例: 此案例中输入,输出已经确定,需要设置神经网络的结构 可能出现的问题: 问题1:需要多少层,每层需 阅读全文
posted @ 2020-06-14 11:09 雨后观山色 阅读(520) 评论(0) 推荐(0) 编辑
摘要:1.课程架构 机器学习就是自动找函式。 图例解释: 2.监督学习 上图中,需要给定足够的训练样本(数据要有标注)。 损失函数,Loss越小越好。 3.有监督学习与强化学习 Life-long learning 终身学习 Transfer learning 迁移学习 Unsupervised Lear 阅读全文
posted @ 2020-06-14 08:57 雨后观山色 阅读(319) 评论(0) 推荐(0) 编辑
摘要:1.scrapy框架利用conda安装 conda install Scrapy win+r打开cmd命令窗口 之后在按y 表示允许安装相关的依赖库(下载速度慢的话也可以借助镜像源),安装的前提是安装了anaconda作为python , 测试scrapy是否安装成功,在窗口输入scrapy回车 2 阅读全文
posted @ 2020-06-01 10:17 雨后观山色 阅读(799) 评论(0) 推荐(0) 编辑
摘要:1.Transformer Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》,提出解决sequence to sequence问题的transformer模型,用全attention的结构代替了lstm,抛弃了之前传统的encoder-d 阅读全文
posted @ 2020-05-02 11:16 雨后观山色 阅读(1119) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示