06 2020 档案

摘要:1.word2vec词向量原理解析 word2vec,即词向量,就是一个词用一个向量来表示。是2013年Google提出的。word2vec工具主要包含两个模型:跳字模型(skip-gram)和连续词袋模型(continuous bag of words,简称CBOW),以及两种高效训练的方法:负采 阅读全文
posted @ 2020-06-28 14:30 雨后观山色 阅读(1904) 评论(0) 推荐(0) 编辑
摘要:1.LDA主题模型简介 主题模型的核心思想是——一篇文章中的每个词语都是经历以下两个步骤之后生成而来: 一篇文章以一定概率选择了某个主题, 然后并从这个主题中以一定概率选择某个词语。 如下图所示: 比如某一篇文档 d,它的主题分布如右方红色柱状图所示。这篇文档最有可能是一篇体育,新闻类型的文档。 : 阅读全文
posted @ 2020-06-27 21:38 雨后观山色 阅读(5099) 评论(0) 推荐(0) 编辑
摘要:1.jieba分词与词性标注 思路: (1)利用pandas读取csv文件中的酒店客户评论,并创建3个新列用来存放分词结果、词性标注结果、分词+词性标注结果 (2)利用jieba分词工具的posseg包,同时实现分词与词性标注 (3)利用停用词表对分词结果进行过滤 (4)将分词结果以20000条为单 阅读全文
posted @ 2020-06-27 18:45 雨后观山色 阅读(4118) 评论(2) 推荐(1) 编辑
摘要:1.快速查看函数的所有参数 按ctrl键,将鼠标放于你要查看参数的函数之上,就可以看见所有的参数 2.快速选中多行(适用于txt,excel,pycharm等) 打开文件,可用键盘上的方向键将光标移到你需要开始选择的地方,接下来是重点:按住键盘上的shift键不放,再按键盘上的方向键就可以从上下左右 阅读全文
posted @ 2020-06-26 10:46 雨后观山色 阅读(582) 评论(0) 推荐(0) 编辑
摘要:1.Pandas简介 Pandas处理以下三个数据结构 - 系列(Series) 数据帧(DataFrame) 面板(Panel) 这些数据结构构建在Numpy数组之上,这意味着它们很快 考虑这些数据结构的最好方法是,较高维数据结构是其较低维数据结构的容器。 例如,DataFrame是Series的 阅读全文
posted @ 2020-06-26 10:25 雨后观山色 阅读(18676) 评论(0) 推荐(2) 编辑
摘要:使用记事本打开CSV文件。 点击菜单:文件-另存为,编码方式选择带Bom的utf-8。 阅读全文
posted @ 2020-06-25 21:34 雨后观山色 阅读(531) 评论(0) 推荐(0) 编辑
摘要:1.正则表达式语法 正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。 例如: runoo+b,可以匹配 runoob、runooob、runoooooob 等, 阅读全文
posted @ 2020-06-24 16:57 雨后观山色 阅读(345) 评论(0) 推荐(0) 编辑
摘要:1.检查是否有合适的GPU, 若有安装Cuda与CuDNN (1)检查电脑是否有合适的GPU 在桌面上右击如果能找到NVIDA控制面板,则说明该电脑有GPU。控制面板如下,并通过查看系统信息获取支持的Cuda版本 (2)下载Cuda 官网:https://developer.nvidia.com/c 阅读全文
posted @ 2020-06-22 21:23 雨后观山色 阅读(26523) 评论(0) 推荐(1) 编辑
摘要:1.下载 2.安装 运行“ideaIU-2018.1.6”开始安装; 修改安装路径 选择64位 点install,开始安装,请耐心等一下; 至此,安装完成。 3.破解 (1)安装完成后,先不要打开软件,将破解文件“JetbrainsCrack.jar”复制到软件安装目录D:\softwaretool 阅读全文
posted @ 2020-06-22 10:26 雨后观山色 阅读(496) 评论(0) 推荐(0) 编辑
摘要:1.下载 2.安装 进入安装页面直接点下一步 然后选择我同意 接下来选择安装目录,看自己心情来了,想装哪里就装哪里,不过还是不建议安装在C盘 选择完安装目录后就是一直点下一步,直到出现安装就点击安装。 等待安装完成即可。 3.破解 这里说明一下,使用注册机的时候需要把杀毒软件退出一下,而且先不要打开 阅读全文
posted @ 2020-06-22 09:44 雨后观山色 阅读(1034) 评论(0) 推荐(0) 编辑
摘要:1.下载安装包 打开iso压缩包,可见: 接下来office会自动安装,等待安装完成。 2.激活office 利用激活工具。 阅读全文
posted @ 2020-06-21 09:01 雨后观山色 阅读(652) 评论(0) 推荐(0) 编辑
摘要:1.从百度云下载安装包 点击安装包: 01 选择64位 02 点击install,进入下一步 、 至此,安装完成。 2.破解教程 01 破解过程 将JetbrainsCrack-2.7-release-str.jar文件放入pycharm的安装路径的bin目录下 再用记事本打开“pycharm.ex 阅读全文
posted @ 2020-06-20 10:32 雨后观山色 阅读(531) 评论(0) 推荐(0) 编辑
摘要:batch_size、epoch、iteration是深度学习中常见的几个超参数: (1)batch_size:每批数据量的大小。DL通常用SGD的优化算法进行训练,也就是一次(1 个iteration)一起训练batchsize个样本,计算它们的平均损失函数值,来更新参数。 (2)iteratio 阅读全文
posted @ 2020-06-18 11:14 雨后观山色 阅读(5293) 评论(0) 推荐(0) 编辑
摘要:1.打开安装包 注意:安装前,关闭360安全卫士 点击next,进入下图 点击I agree 进入下图 选择All Users,点击next 选择anaconda的安装目录,点击next。 勾选Register Anaconda,点击install 点击next,进入下图。 至此,安装完成。接下来需 阅读全文
posted @ 2020-06-16 12:49 雨后观山色 阅读(273) 评论(0) 推荐(0) 编辑
摘要:1.利用python读取文件 (1)Python引入了with语句来自动帮我们调用close()方法 <1>读取指定路径下的文件 with open('/path/to/file', 'r') as f: print(f.read()) <2>写文件 with open('/Users/michae 阅读全文
posted @ 2020-06-15 18:24 雨后观山色 阅读(1243) 评论(0) 推荐(0) 编辑
摘要:1.深度学习框架 pytorch与其他框架的比较 pytorch的学习方法: 课程安排: PyTorch是一个基于Python的科学计算库,它有以下特点: 类似于NumPy,但是它可以使用GPU 可以用它定义深度学习模型,可以灵活地进行深度学习模型的训练和使用 2.tensor的运算 Tensor类 阅读全文
posted @ 2020-06-15 16:46 雨后观山色 阅读(3182) 评论(0) 推荐(0) 编辑
摘要:1.词向量回顾 2.Bert、ELMO、GPT引出 每一个词有多个意思 (1)ELMO(Embedding from language model) (2)Bert(Bidirectional Encoder Representations from Transformer) BERT就是trans 阅读全文
posted @ 2020-06-15 10:41 雨后观山色 阅读(335) 评论(0) 推荐(0) 编辑
摘要:1.Transformer的入门简介 transformer是一种带有self-attention的seq2seq 的模型 处理seq2seq的问题最常用的架构是RNN 下图,左边的结构是RNN,右边的结构是self-attention layer,bi可以基于整个输入序列而得到的。b1,b2,b3 阅读全文
posted @ 2020-06-15 09:39 雨后观山色 阅读(973) 评论(0) 推荐(0) 编辑
摘要:1.one-of-N encoding 与word embedding 2.Word Embedding (1)生成词向量是无监督的 (2)word embedding 的含义 <1>在没有监督的情况下通过阅读大量文档来机器学习单词的含义 <2>一个词可以通过上下文来理解 (3)如何利用上下文 <1 阅读全文
posted @ 2020-06-14 21:48 雨后观山色 阅读(658) 评论(0) 推荐(0) 编辑
摘要:1.案例引出 RNN-based network 总是不容易学习。 下图展示了语言模型的损失函数与训练周期的关系。蓝色是理想的损失函数走势图,绿色是实际试验中可能出现的损失值。 损失函数存在突变的现象: 下图中可见Loss 函数的变化情况,左侧的损失函数较大,右侧的损失函数较小,存在剧烈变化的现象。 阅读全文
posted @ 2020-06-14 18:59 雨后观山色 阅读(272) 评论(0) 推荐(0) 编辑
摘要:1.RNN导出案例 Neural network needs memory 加入记忆元素的案例: 2.RNN的结构 当神经网络有了记忆后,由于存储在memory中的值不同,模型的输出也会不同。 当然,RNN的结构可以是深层的。 3.Bidirectional RNN 双向的循环神经网络 双向RNN的 阅读全文
posted @ 2020-06-14 16:57 雨后观山色 阅读(323) 评论(0) 推荐(0) 编辑
摘要:1.CNN总体架构 (1)convolution 卷积 计算方法:对应位置相乘,再将9个格子的乘积结果相加(內积)。 卷积神经网络与全连接的神经网络的区别: 将下图中的6*6的矩阵拉直成一个列向量,则下图中右边部分的4*4矩阵的第一个3是由部分值与filter的3*3矩阵內积而来 <1>卷积神经网络 阅读全文
posted @ 2020-06-14 14:56 雨后观山色 阅读(269) 评论(0) 推荐(0) 编辑
摘要:1.深度学习的发展历程 2.深度学习的三大步 (1)前馈神经网络: 神经网络的结构: 矩阵运算: 运算过程: x为(x1,x2,.....xn),b为(b1,b2,...bn) 特征工程结构图: 案例: 此案例中输入,输出已经确定,需要设置神经网络的结构 可能出现的问题: 问题1:需要多少层,每层需 阅读全文
posted @ 2020-06-14 11:09 雨后观山色 阅读(519) 评论(0) 推荐(0) 编辑
摘要:1.课程架构 机器学习就是自动找函式。 图例解释: 2.监督学习 上图中,需要给定足够的训练样本(数据要有标注)。 损失函数,Loss越小越好。 3.有监督学习与强化学习 Life-long learning 终身学习 Transfer learning 迁移学习 Unsupervised Lear 阅读全文
posted @ 2020-06-14 08:57 雨后观山色 阅读(319) 评论(0) 推荐(0) 编辑
摘要:1.scrapy框架利用conda安装 conda install Scrapy win+r打开cmd命令窗口 之后在按y 表示允许安装相关的依赖库(下载速度慢的话也可以借助镜像源),安装的前提是安装了anaconda作为python , 测试scrapy是否安装成功,在窗口输入scrapy回车 2 阅读全文
posted @ 2020-06-01 10:17 雨后观山色 阅读(798) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示