06 2019 档案

摘要:一、函数的渐近的界 我们在研究算法性能的时候,往往会在意算法的运行时间,而运行时间又与算法输入的规模相关,对于一个算法,我们可以求出运行时间和输入规模的函数,当输入规模足够大时,站在极限的角度看,就可以求出运行时间如何随着输入规模的无限增长而增长。 这种令输入规模无限大 而研究运行时间增长情况的做法 阅读全文
posted @ 2019-06-30 13:14 交流_QQ_2240410488 阅读(2370) 评论(0) 推荐(0) 编辑
摘要:https://wenku.baidu.com/view/5715234adc36a32d7375a417866fb84ae55cc347.html 阅读全文
posted @ 2019-06-30 10:11 交流_QQ_2240410488 阅读(229) 评论(0) 推荐(0) 编辑
摘要:Θ,读音:theta、西塔;既是上界也是下界(tight),等于的意思。 Ο,读音:big-oh、欧米可荣(大写);表示上界(tightness unknown),小于等于的意思。 ο,读音:small-oh、欧米可荣(小写);表示上界(not tight),小于的意思。 Ω,读音:big omeg 阅读全文
posted @ 2019-06-30 10:10 交流_QQ_2240410488 阅读(3213) 评论(0) 推荐(0) 编辑
摘要:在计算机编程实现中有常常两种方法:一曰迭代(iterate);二曰递归(recursion)。 从“编程之美”的角度看,可以借用一句非常经典的话:“迭代是人,递归是神!”来从宏观上对二者进行把握。 从概念上讲,递归就是指程序调用自身的编程思想,即一个函数调用本身;迭代是利用已知的变量值,根据递推公式 阅读全文
posted @ 2019-06-28 22:56 交流_QQ_2240410488 阅读(570) 评论(0) 推荐(0) 编辑
摘要:隐马尔可夫模型(Hidden Markov Model,HMM)是用来描述一个含有隐含未知参数的马尔可夫过程。 本文阅读了2篇blog,理解其中的意思,附上自己的代码,共同学习。 一、理解隐马尔科夫 1.1 举例理解 来源:< http://www.cnblogs.com/skyme/p/46513 阅读全文
posted @ 2019-06-28 17:30 交流_QQ_2240410488 阅读(640) 评论(0) 推荐(0) 编辑
摘要:Python 字典(Dictionary) get()方法 描述 Python 字典(Dictionary) get() 函数返回指定键的值,如果值不在字典中返回默认值。 语法 get()方法语法: 参数 key -- 字典中要查找的键。 default -- 如果指定键的值不存在时,返回该默认值值 阅读全文
posted @ 2019-06-28 15:45 交流_QQ_2240410488 阅读(472) 评论(0) 推荐(0) 编辑
摘要:一、未登录词问题在jieba中文分词的第一节曾提到未登录词问题 中文分词的难点 分词规范,词的定义还不明确 (《统计自然语言处理》宗成庆)歧义切分问题,交集型切分问题,多义组合型切分歧义等 结婚的和尚未结婚的 => 结婚/的/和/尚未/结婚/的 结婚/的/和尚/未/结婚/的未登录词问题 有两种解释: 阅读全文
posted @ 2019-06-28 15:33 交流_QQ_2240410488 阅读(545) 评论(0) 推荐(0) 编辑
摘要:什么问题用HMM解决现实生活中有这样一类随机现象,在已知现在情况的条件下,未来时刻的情况只与现在有关,而与遥远的过去并无直接关系。 比如天气预测,如果我们知道“晴天,多云,雨天”之间的转换概率,那么如果今天是晴天,我们就可以推断出明天是各种天气的概率,接着后天的天气可以由明天的进行计算。这类问题可以 阅读全文
posted @ 2019-06-28 14:40 交流_QQ_2240410488 阅读(320) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/athemeroy/article/details/79342048本文致力于解释隐含马尔科夫模型和上一篇我们提到的篱笆网络的最短路径问题的相同点和不同点,尽量通俗易懂但是也有些必要的公式。如果你有数学恐惧症,请无视所有的“注”。我的概率论学的很烂,如果“ 阅读全文
posted @ 2019-06-28 12:44 交流_QQ_2240410488 阅读(390) 评论(0) 推荐(0) 编辑
摘要:小白给小白详解维特比算法一篱笆网络Lattice的最短路径问题这个问题长什么样子这个问题难在哪里简化成这个模样你总能回答了吧下一步我们该干什么别倒立了我们再从头想一下这个问题我们是怎么走过来的来我们从A开始走这次我们需要算的次数大约是多少呢We are almost there初见HMM求解状态序列 阅读全文
posted @ 2019-06-28 10:36 交流_QQ_2240410488 阅读(464) 评论(0) 推荐(0) 编辑
摘要:本文主要内容转载自:http://www.cnblogs.com/skyme/p/4651331.html 和 http://www.cnblogs.com/Denise-hzf/p/6612212.html 并增加了自己的一点总结 HMM(隐马尔可夫模型) 隐马尔可夫模型(Hidden Marko 阅读全文
posted @ 2019-06-28 09:16 交流_QQ_2240410488 阅读(1038) 评论(0) 推荐(1) 编辑
摘要:阅读目录 隐马尔可夫模型(HMM) 阅读目录 隐马尔可夫模型(HMM) 回到目录 隐马尔可夫模型(HMM) 回到目录 隐马尔可夫模型(HMM) 原文地址:http://www.cnblogs.com/jacklu/p/7753471.html 本文结合了王晓刚老师的ENGG 5202 Pattern 阅读全文
posted @ 2019-06-27 20:11 交流_QQ_2240410488 阅读(756) 评论(0) 推荐(1) 编辑
摘要:1. 前言维特比算法针对HMM第三个问题,即解码或者预测问题,寻找最可能的隐藏状态序列: 对于一个特殊的隐马尔可夫模型(HMM)及一个相应的观察序列,找到生成此序列最可能的隐藏状态序列。 也就是说给定了HMM的模型参数和一个观测序列,计算一系列的隐状态,使得此观察序列的出现可能最大,即最大化P(隐状 阅读全文
posted @ 2019-06-27 20:11 交流_QQ_2240410488 阅读(1644) 评论(0) 推荐(0) 编辑
摘要:jieba “结巴”中文分词:做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation 阅读全文
posted @ 2019-06-27 18:16 交流_QQ_2240410488 阅读(1586) 评论(1) 推荐(0) 编辑
摘要:1. 解析主函数cut Jieba分词包的主函数在jieba文件夹下的__init__.py中,在这个py文件中有个cut的函数,这个就是控制着整个jieba分词包的主函数。 cut函数的定义如下:def cut(sentence,cut_all=False,HMM=True): 其给出的官方注释为 阅读全文
posted @ 2019-06-27 17:53 交流_QQ_2240410488 阅读(1589) 评论(0) 推荐(0) 编辑
摘要:\ 这是引用符,用来将这里列出的这些元字符当作普通的字符来进行匹配。例如正则表达式\$被用来匹配美元符号,而不是行尾,类似的,正则表达式\.用来匹配点字符,而不是任何字符的通配符。 阅读全文
posted @ 2019-06-27 17:29 交流_QQ_2240410488 阅读(6630) 评论(0) 推荐(0) 编辑
摘要:“?:”非获取匹配,匹配冒号后的内容但不获取匹配结果,不进行存储供以后使用。 单独的“?”:匹配前面的子表达式零次或一次。 当“?”紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少地匹配所搜索的字符串,而默认的贪婪模式则尽可能多地匹配 阅读全文
posted @ 2019-06-27 17:28 交流_QQ_2240410488 阅读(2209) 评论(0) 推荐(0) 编辑
摘要:要理解?=和?!,首先需要理解前瞻,后顾,负前瞻,负后顾四个概念: 前瞻:exp1(?=exp2) 查找exp2前面的exp1后顾:(?<=exp2)exp1 查找exp2后面的exp1负前瞻:exp1(?!exp2) 查找后面不是exp2的exp1负后顾:(?<!=exp2)exp1 查找前面不是 阅读全文
posted @ 2019-06-27 17:26 交流_QQ_2240410488 阅读(3132) 评论(0) 推荐(0) 编辑
摘要:描述 isinstance() 函数来判断一个对象是否是一个已知的类型,类似 type()。 isinstance() 与 type() 区别: type() 不会认为子类是一种父类类型,不考虑继承关系。 isinstance() 会认为子类是一种父类类型,考虑继承关系。 如果要判断两个类型是否相同 阅读全文
posted @ 2019-06-27 17:11 交流_QQ_2240410488 阅读(217) 评论(0) 推荐(0) 编辑
摘要:首先我们来看一下jieba分词的流程图: 结巴中文分词简介 1)支持三种分词模式: 精确模式:将句子最精确的分开,适合文本分析 全模式:句子中所有可以成词的词语都扫描出来,速度快,不能解决歧义 搜索引擎模式:在精确的基础上,对长词再次切分,提高召回 2)支持繁体分词 3)支持自定义词典 4)基于Tr 阅读全文
posted @ 2019-06-27 15:34 交流_QQ_2240410488 阅读(1104) 评论(0) 推荐(0) 编辑
摘要:os.path.abspath(path) #返回绝对路径 os.path.basename(path) #返回文件名 os.path.commonprefix(list) #返回list(多个路径)中,所有path共有的最长的路径。 os.path.dirname(path) #返回文件路径 os 阅读全文
posted @ 2019-06-27 13:53 交流_QQ_2240410488 阅读(172) 评论(0) 推荐(0) 编辑
摘要:Python os.getcwd() 方法 Python OS 文件/目录方法 概述 os.getcwd() 方法用于返回当前工作目录。 语法 getcwd()方法语法格式如下: 参数 无 返回值 返回当前进程的工作目录。 实例 以下实例演示了 getcwd() 方法的使用: 执行以上程序输出结果为 阅读全文
posted @ 2019-06-27 13:51 交流_QQ_2240410488 阅读(445) 评论(0) 推荐(0) 编辑
摘要:相同点:都是返回函数执行的结果 不同点:return 在返回结果后结束函数的运行,而yield 则是让函数变成一个生成器,生成器每次产生一个值(yield语句),函数被冻结,被唤醒后再产生一个值 例子:求一组数的平方值 return 实现: def squre(n): ls = [i*i for i 阅读全文
posted @ 2019-06-27 12:10 交流_QQ_2240410488 阅读(268) 评论(0) 推荐(0) 编辑
摘要:布尔型True和False,not True为False,not False为True,以下是几个常用的not的用法: (1) not与逻辑判断句if连用,代表not后面的表达式为False的时候,执行冒号后面的语句。比如: a = False if not a: (这里因为a是False,所以no 阅读全文
posted @ 2019-06-27 10:43 交流_QQ_2240410488 阅读(313) 评论(0) 推荐(0) 编辑
摘要:1. 引言 有向无环图(Directed Acyclic Graph, DAG)是有向图的一种,字面意思的理解就是图中没有环。常常被用来表示事件之间的驱动依赖关系,管理任务之间的调度。拓扑排序是对DAG的顶点进行排序,使得对每一条有向边(u, v),均有u(在排序记录中)比v先出现。亦可理解为对某点 阅读全文
posted @ 2019-06-27 09:46 交流_QQ_2240410488 阅读(874) 评论(0) 推荐(0) 编辑
摘要:DAG是公认的下一代区块链的标志。本文从算法基础去研究分析DAG算法,以及它是如何运用到区块链中,解决了当前区块链的哪些问题。 关键字:DAG,有向无环图,算法,背包,深度优先搜索,栈,BlockChain,区块链 图 图是数据结构中最为复杂的一种,我在上大学的时候,图的这一章会被老师划到考试范围之 阅读全文
posted @ 2019-06-27 09:37 交流_QQ_2240410488 阅读(703) 评论(0) 推荐(0) 编辑
摘要:描述 xrange() 函数用法与 range 完全相同,所不同的是生成的不是一个数组,而是一个生成器。 语法 xrange 语法: 参数说明: start: 计数从 start 开始。默认是从 0 开始。例如 xrange(5) 等价于 xrange(0, 5) stop: 计数到 stop 结束 阅读全文
posted @ 2019-06-27 09:34 交流_QQ_2240410488 阅读(1697) 评论(0) 推荐(0) 编辑
摘要:https://www.jianshu.com/p/dfdfeaa7d01f 1 HMM模型 image.png 马尔科夫过程: image.png image.png 以天气判断为例:引出隐马尔科夫模型 image.png image.png 以天气判断为例:由海藻信息推测天气 image.png 阅读全文
posted @ 2019-06-27 08:57 交流_QQ_2240410488 阅读(394) 评论(0) 推荐(0) 编辑
摘要:上节课,我们学习了自然语言处理课程(一):自然语言处理在网文改编市场的应用,了解了相关的基础理论。接下来,我们将要了解一些具体的、可操作的技术方法。 作为小说爱好者的你,是否有设想过通过一些计算机工具对小说做一些有趣的事情呢?阅读本文,你可以了解到如何运用现在最流行、最容易运用的jieba分词包,统 阅读全文
posted @ 2019-06-27 08:57 交流_QQ_2240410488 阅读(1387) 评论(0) 推荐(0) 编辑
摘要:转自一个很不错的博客,结合自己的理解,记录一下。作者:zhbzz2007 出处:http://www.cnblogs.com/zhbzz2007 欢迎转载,也请保留这段声明。谢谢! https://www.cnblogs.com/zhbzz2007/p/6076246.html?utm_source 阅读全文
posted @ 2019-06-27 08:48 交流_QQ_2240410488 阅读(2611) 评论(0) 推荐(0) 编辑
摘要:Pytorch学习记录-torchtext和Pytorch的实例1 0. PyTorch Seq2Seq项目介绍 1. 使用神经网络训练Seq2Seq 1.1 简介,对论文中公式的解读 1.2 数据预处理 我们将在PyTorch中编写模型并使用TorchText帮助我们完成所需的所有预处理。我们还将 阅读全文
posted @ 2019-06-26 15:59 交流_QQ_2240410488 阅读(2989) 评论(0) 推荐(0) 编辑
摘要:测试集大小: test.shape(898, 11) 对某列的字符串做统计长度1、for遍历法:start = time.time()for i in test.index.values: test.loc[i,'contentLen1'] = len(test.loc[i,'content'])t 阅读全文
posted @ 2019-06-26 15:27 交流_QQ_2240410488 阅读(3331) 评论(0) 推荐(2) 编辑
摘要:在我们通常使用的windows系统中,我发现了一个有趣的现象。我新建一个空的文本文档,点击文件-另存为-编码选择UTF-8,然后保存。此时这个文件明明是空的,却占了3字节大小。原因在于:此时保存的编码方式自动会变为UTF-8 BOM 一、一个汉字在不同的编码方式中占多少字节? 1.在UTF-8中,一 阅读全文
posted @ 2019-06-26 14:45 交流_QQ_2240410488 阅读(199) 评论(0) 推荐(0) 编辑
摘要:在UI自动化应用中,经常会出错,打log就是一个很重要的环节,python的logging.basicConfig函数 真是既方便,又简单,每次粘贴到用例前,就可以打log了。 logging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等 阅读全文
posted @ 2019-06-26 12:35 交流_QQ_2240410488 阅读(1364) 评论(0) 推荐(0) 编辑
摘要:首先需要具备gensim包,然后需要一个语料库用来训练,这里用到的是skip-gram或CBOW方法,具体细节可以去查查相关资料,这两种方法大致上就是把意思相近的词映射到词空间中相近的位置。 语料库test8下载地址: http://mattmahoney.net/dc/text8.zip 这个语料 阅读全文
posted @ 2019-06-26 12:16 交流_QQ_2240410488 阅读(4688) 评论(0) 推荐(1) 编辑
摘要:ELMo的概念也是很早就出了,应该是18年初的事情了。但我仍然是后知后觉,居然还是等BERT出来很久之后,才知道有这么个东西。这两天才仔细看了下论文和源码,在这里做一些记录,如果有不详实的地方,欢迎指出~ 文章目录前言一. ELMo原理1. ELMo整体模型结构2. 字符编码层3. biLMs原理4 阅读全文
posted @ 2019-06-26 11:19 交流_QQ_2240410488 阅读(2872) 评论(0) 推荐(0) 编辑
摘要:在进行自然语言处理中,需要对文章的中的语义进行分析,于是迫切需要一些模型去描述词汇的含义,很多人可能都知道word2vector算法,诚然,word2vector是一个非常优秀的算法,并且被广泛运用,为人们熟知,然而,从结果的优劣性来看,其实word2vector并非唯一的优秀方案,斯坦福大学提出的 阅读全文
posted @ 2019-06-25 21:43 交流_QQ_2240410488 阅读(2007) 评论(0) 推荐(0) 编辑
摘要:Python3 try-except、raise和assert解析 一、说明 关于异常捕获try-except:在学java的时候就被教育异常捕获也是java相对c的一大优点,几年下来多少也写了些代码,但异常捕获总只得其形未得其神,在自己这只是让发生错误的程序在不必要终止时不终止而已。 关于主动抛出 阅读全文
posted @ 2019-06-25 21:10 交流_QQ_2240410488 阅读(508) 评论(0) 推荐(0) 编辑
摘要:assert only check if a condition is true or not and throw an exception. A try/except block can run a few statements and check if any of them throw an 阅读全文
posted @ 2019-06-25 21:07 交流_QQ_2240410488 阅读(173) 评论(0) 推荐(0) 编辑
摘要:https://stackoverflow.com/questions/44921611/error-installing-glove-python-link-exe-failed-with-exit-status-1181 阅读全文
posted @ 2019-06-25 17:57 交流_QQ_2240410488 阅读(518) 评论(0) 推荐(0) 编辑
摘要:Windows10+anaconda,python3.5, 安装glove-python安装glove安装之前 Visual C++ 2015 Build Tools开始安装安装glove最近因为一个project需要尝试不同word embedding方法,word2vec以及doc2vec都可以 阅读全文
posted @ 2019-06-25 17:43 交流_QQ_2240410488 阅读(2026) 评论(0) 推荐(0) 编辑
摘要:若想深层地理解GloVe和本文,最好了解SVD, word2vec(skip-gram为主)的相关知识。若仅寻求一种新的word embedding方法,可以不必了解以上前置知识。 一言以蔽之,GloVe的思想就是借鉴word2vec的pair-wise的方法以及其他一些trick来进行传统矩阵分解 阅读全文
posted @ 2019-06-25 17:10 交流_QQ_2240410488 阅读(2259) 评论(1) 推荐(0) 编辑
摘要:在使用pytorch或tensorflow等神经网络框架进行nlp任务的处理时,可以通过对应的Embedding层做词向量的处理,更多的时候,使用预训练好的词向量会带来更优的性能。下面分别介绍使用gensim和torchtext两种加载预训练词向量的方法。 1.使用gensim加载预训练词向量 对于 阅读全文
posted @ 2019-06-25 16:48 交流_QQ_2240410488 阅读(6253) 评论(0) 推荐(0) 编辑
摘要:理解GloVe模型 概述 模型目标:进行词的向量化表示,使得向量之间尽可能多地蕴含语义和语法的信息。输入:语料库输出:词向量方法概述:首先基于语料库构建词的共现矩阵,然后基于共现矩阵和GloVe模型学习词向量。开始统计共现矩阵训练词向量结束统计共现矩阵 设共现矩阵为XX,其元素为Xi,jXi,j。 阅读全文
posted @ 2019-06-25 16:34 交流_QQ_2240410488 阅读(848) 评论(0) 推荐(0) 编辑
摘要:版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/peghoty/article/details/37969635 https://blog.csdn.net/itplus/article/details/37969635 word2vec 是 Goo 阅读全文
posted @ 2019-06-25 15:45 交流_QQ_2240410488 阅读(203) 评论(0) 推荐(0) 编辑
摘要:描述 zip() 函数用于将可迭代的对象作为参数,将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表。 如果各个迭代器的元素个数不一致,则返回列表长度与最短的对象相同,利用 * 号操作符,可以将元组解压为列表。 zip 方法在 Python 2 和 Python 3 中的不同:在 Py 阅读全文
posted @ 2019-06-25 15:16 交流_QQ_2240410488 阅读(157) 评论(0) 推荐(0) 编辑
摘要:理解 Word2Vec 之 Skip-Gram 模型 天雨粟 模型师傅 / 果粉 https://zhuanlan.zhihu.com/p/27234078 天雨粟 模型师傅 / 果粉 https://zhuanlan.zhihu.com/p/27234078 天雨粟 模型师傅 / 果粉 https 阅读全文
posted @ 2019-06-25 14:14 交流_QQ_2240410488 阅读(722) 评论(0) 推荐(1) 编辑
摘要:Tqdm 是一个快速,可扩展的Python进度条,可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意的迭代器 tqdm(iterator)。 我的系统是window环境,首先安装python,接下来就是pip。 pip安装: 在python根目录下创建一个get-pip.py的文 阅读全文
posted @ 2019-06-25 11:08 交流_QQ_2240410488 阅读(2121) 评论(0) 推荐(0) 编辑
摘要:https://zhuanlan.zhihu.com/p/30302498 陈运文 ​ 复旦大学 计算机应用技术博士 陈运文 ​ 复旦大学 计算机应用技术博士 陈运文 ​ 复旦大学 计算机应用技术博士 陈运文 ​ 陈运文 陈运文 复旦大学 计算机应用技术博士 复旦大学 计算机应用技术博士 复旦大学 阅读全文
posted @ 2019-06-25 10:32 交流_QQ_2240410488 阅读(1928) 评论(0) 推荐(0) 编辑
摘要:今天要讲的是天才哈夫曼的哈夫曼编码,这是树形数据结构的一个典型应用。 !!!敲黑板!!!哈夫曼树的构建以及编码方式将是我们的学习重点。 老方式,代码+解释,手把手教你Python完成哈夫曼编码的全过程。、 首先,我先假设你已经有了二叉树的相关知识,主要就是概念和遍历方式这些点。如果没有这些知识储备, 阅读全文
posted @ 2019-06-24 22:14 交流_QQ_2240410488 阅读(353) 评论(0) 推荐(0) 编辑
摘要:更多16 更多16 最近在看一本名叫《Python Algorithm: Mastering Basic Algorithms in the Python Language》的书,刚好看到提到这个Counter类(P84的Listing 4.6下的Tip)。 1.collections模块 coll 阅读全文
posted @ 2019-06-24 17:49 交流_QQ_2240410488 阅读(439) 评论(0) 推荐(0) 编辑
摘要:Python List extend()方法 Python 列表 描述 extend() 函数用于在列表末尾一次性追加另一个序列中的多个值(用新列表扩展原来的列表)。 语法 extend()方法语法: 参数 seq -- 元素列表。 返回值 该方法没有返回值,但会在已存在的列表中添加新的列表内容。 阅读全文
posted @ 2019-06-24 17:47 交流_QQ_2240410488 阅读(1515) 评论(0) 推荐(0) 编辑
摘要:本文内容:1. Xavier 初始化2. nn.init 中各种初始化函数3. He 初始化 torch.init https://pytorch.org/docs/stable/nn.html#torch-nn-init 1. 均匀分布torch.nn.init.uniform_(tensor, 阅读全文
posted @ 2019-06-24 17:37 交流_QQ_2240410488 阅读(3668) 评论(0) 推荐(0) 编辑
摘要:转载请注明 AIQ - 最专业的机器学习大数据社区 http://www.6aiq.com AIQ 机器学习大数据 知乎专栏 点击关注 链接地址: https://github.com/lonePatient/chinese-word2vec-pytorch 大概 6 次 epochs 之后,可得到 阅读全文
posted @ 2019-06-24 16:30 交流_QQ_2240410488 阅读(898) 评论(0) 推荐(0) 编辑
摘要:文章目录 skip-gram pytorch 朴素实现网络结构训练过程:使用nn.NLLLoss()batch的准备,为unsupervised,准备数据获取(center,contex)的pair:采样时的优化:Subsampling降低高频词的概率skip-gram 进阶:negative sa 阅读全文
posted @ 2019-06-24 16:26 交流_QQ_2240410488 阅读(1095) 评论(0) 推荐(0) 编辑
摘要:本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击: tensor-yu/PyTorch_Tutorial​github.com 版权声明:本文为博主原创文章,转载请附上博文链接! 我们所说的优化,即优化网络权值使得损失函数值变小。但是,损失函数值变小是否能代表模型的分类/回归精度 阅读全文
posted @ 2019-06-24 15:48 交流_QQ_2240410488 阅读(520) 评论(0) 推荐(0) 编辑
摘要:首先在变量的操作上:Tensor对象支持在原对象内存区域上修改数据,通过“+=”或者torch.add()方法而Variable不支持在原对象内存区域上修改数据Variable对象可求梯度,并且对Variable对象的操作,操作会被记录,可通过grad_fn属性查看上一次的操作,可通过data属性访 阅读全文
posted @ 2019-06-24 15:17 交流_QQ_2240410488 阅读(1489) 评论(0) 推荐(0) 编辑
摘要:Pytorch官网的解释是:一个保存了固定字典和大小的简单查找表。这个模块常用来保存词嵌入和用下标检索它们。模块的输入是一个下标的列表,输出是对应的词嵌入。 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max 阅读全文
posted @ 2019-06-24 15:06 交流_QQ_2240410488 阅读(2587) 评论(0) 推荐(0) 编辑
摘要:继承不是为了继承里面原来的属性和值么,不初始化的话,会有什么问题? 继承不是为了继承里面原来的属性和值么,不初始化的话,会有什么问题? 继承不是为了继承里面原来的属性和值么,不初始化的话,会有什么问题? 继承不是为了继承里面原来的属性和值么,不初始化的话,会有什么问题? 2015-04-04源自:p 阅读全文
posted @ 2019-06-24 15:02 交流_QQ_2240410488 阅读(3346) 评论(0) 推荐(0) 编辑
摘要:1 import torch 2 from torch import nn, optim 3 from torch.autograd import Variable 4 import torch.nn.functional as F 5 6 CONTEXT_SIZE = 2 # 2 words to 阅读全文
posted @ 2019-06-24 14:42 交流_QQ_2240410488 阅读(558) 评论(0) 推荐(0) 编辑
摘要:奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法。除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition)、LU分解(LU decomposition)、QR分解(QR deco 阅读全文
posted @ 2019-06-24 14:10 交流_QQ_2240410488 阅读(771) 评论(0) 推荐(0) 编辑
摘要:最近有个任务:利用 RNN 进行句子补全,即给定一个不完整的句子,预测其后续的字词。本文使用了 Seq2Seq 模型,输入为 5 个中文字词,输出为 1 个中文字词。目录 关于RNN 语料预处理 搭建数据集 搭建模型 训练模型 测试模型 保存/加载模型 1.关于RNN 自被提出以来,循环神经网络(R 阅读全文
posted @ 2019-06-24 10:37 交流_QQ_2240410488 阅读(600) 评论(0) 推荐(0) 编辑
摘要:最近有个任务:利用 RNN 进行句子补全,即给定一个不完整的句子,预测其后续的字词。本文使用了 Seq2Seq 模型,输入为5个中文字词,输出为一个中文字词。 目录 关于RNN 语料预处理 搭建数据集 搭建模型 训练模型 测试模型 保存/加载模型 1.关于RNN 自被提出以来,循环神经网络(Recu 阅读全文
posted @ 2019-06-24 10:34 交流_QQ_2240410488 阅读(1026) 评论(0) 推荐(0) 编辑
摘要:1.debug,全部打印 2.打断点debug,出现单步调试等按钮,只运行断点前 3.setup over 调试一行代码 4.setup out 运行断点后面所有代码 5.debug窗口显示调试按钮 6.运行到对应的点会显示变量的值 7.step into:单步执行,遇到子函数就进入并且继续单步执行 阅读全文
posted @ 2019-06-22 22:05 交流_QQ_2240410488 阅读(1264) 评论(0) 推荐(0) 编辑
摘要:step into:单步执行,遇到子函数就进入并且继续单步执行(简而言之,进入子函数); step over:在单步执行时,在函数内遇到子函数时不会进入子函数内单步执行,而是将子函数整个执行完再停止,也就是把子函数整个作为一步。有一点,经过我们简单的调试,在不存在子函数的情况下是和step into 阅读全文
posted @ 2019-06-22 21:59 交流_QQ_2240410488 阅读(1711) 评论(0) 推荐(0) 编辑
摘要:1、终端(terminal) 终端(termimal)= tty(Teletypewriter, 电传打印机),作用是提供一个命令的输入输出环境,在linux下使用组合键ctrl+alt+T打开的就是终端,可以认为terminal和tty是同义词。 2、shell shell是一个命令行解释器,是l 阅读全文
posted @ 2019-06-22 21:25 交流_QQ_2240410488 阅读(1801) 评论(0) 推荐(0) 编辑
摘要:pytorch 的 Variable 对象中有两个方法,detach和 detach_ 本文主要介绍这两个方法的效果和 能用这两个方法干什么。 detach 官方文档中,对这个方法是这么介绍的。 返回一个新的 从当前图中分离的 Variable。返回的 Variable 永远不会需要梯度如果 被 d 阅读全文
posted @ 2019-06-22 17:41 交流_QQ_2240410488 阅读(236) 评论(0) 推荐(0) 编辑
摘要:记录一下对RNN,LSTM,GRU基本原理(正向过程以及简单的反向过程)的个人理解 RNN Recurrent Neural Networks,循环神经网络 (注意区别于recursive neural network,递归神经网络) 为了解决DNN存在着无法对时间序列上的变化进行建模的问题(如自然 阅读全文
posted @ 2019-06-22 15:48 交流_QQ_2240410488 阅读(844) 评论(0) 推荐(0) 编辑
摘要:本文中的RNN泛指LSTM,GRU等等 CNN中和RNN中batchSize的默认位置是不同的。 CNN中:batchsize的位置是position 0. RNN中:batchsize的位置是position 1. 在RNN中输入数据格式: 对于最简单的RNN,我们可以使用两种方式来调用,torc 阅读全文
posted @ 2019-06-22 15:43 交流_QQ_2240410488 阅读(4384) 评论(1) 推荐(2) 编辑
摘要:1、softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 x 是一个实数的向量(正数或负数都无所谓, 没有限制). 然后, 第i个 Softmax(x) 的组 阅读全文
posted @ 2019-06-22 15:30 交流_QQ_2240410488 阅读(8946) 评论(0) 推荐(0) 编辑
摘要:零 seq2seq是从序列到序列的学习过程,最重要的是输入序列和输出序列是可变长的,这种方式就非常灵活了,典型的机器翻译就是这样一个过程。 一 最基本的seq2seq网络架构如下所示: 可以看到,encoder构成一个RNN的网络,decoder也是一个RNN的网络。训练过程和推断过程有一些不太一样 阅读全文
posted @ 2019-06-22 15:23 交流_QQ_2240410488 阅读(531) 评论(0) 推荐(0) 编辑
摘要:squeeze的用法主要就是对数据的维度进行压缩或者解压。 先看torch.squeeze() 这个函数主要对数据的维度进行压缩,去掉维数为1的的维度,比如是一行或者一列这种,一个一行三列(1,3)的数去掉第一个维数为一的维度之后就变成(3)行。squeeze(a)就是将a中所有为1的维度删掉。不为 阅读全文
posted @ 2019-06-22 14:43 交流_QQ_2240410488 阅读(1419) 评论(0) 推荐(0) 编辑
摘要:发现 对于torch.matmul和torch.bmm,都能实现对于batch的矩阵乘法: a = torch.rand((2,3,10))b = torch.rand((2,2,10))### matmal()res1 = torch.matmul(a,b.transpose(1,2))print 阅读全文
posted @ 2019-06-22 14:14 交流_QQ_2240410488 阅读(5995) 评论(0) 推荐(0) 编辑
摘要:import torch x = torch.randn(128, 20) # 输入的维度是(128,20)m = torch.nn.Linear(20, 30) # 20,30是指维度output = m(x)print('m.weight.shape:\n ', m.weight.shape)p 阅读全文
posted @ 2019-06-22 13:24 交流_QQ_2240410488 阅读(13669) 评论(0) 推荐(0) 编辑
摘要:基于BP神经网络与遗传算法实现盾构砂浆性能优化方法技术 技术编号:14113655阅读:494留言:0更新日期:2016-12-07 11:00 基于BP神经网络与遗传算法实现盾构砂浆性能优化方法技术 技术编号:14113655阅读:494留言:0更新日期:2016-12-07 11:00 本发明专 阅读全文
posted @ 2019-06-22 11:09 交流_QQ_2240410488 阅读(177) 评论(0) 推荐(0) 编辑
摘要:刚从图像处理的hole中攀爬出来,刚走一步竟掉到了另一个hole(fire in the hole*▽*) 1.RNN中的attentionpytorch官方教程:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutor 阅读全文
posted @ 2019-06-22 10:59 交流_QQ_2240410488 阅读(4510) 评论(1) 推荐(0) 编辑
摘要:前面阐述注意力理论知识,后面简单描述PyTorch利用注意力实现机器翻译 Effective Approaches to Attention-based Neural Machine Translation 简介 Attention介绍 在翻译的时候,选择性的选择一些重要信息。详情看这篇文章 。 本 阅读全文
posted @ 2019-06-21 17:47 交流_QQ_2240410488 阅读(3877) 评论(0) 推荐(0) 编辑
摘要:Linear 是module的子类,是参数化module的一种,与其名称一样,表示着一种线性变换。 创建 parent 的init函数 Linear的创建需要两个参数,inputSize 和 outputSize inputSize:输入节点数 outputSize:输出节点数 所以Linear 有 阅读全文
posted @ 2019-06-21 16:44 交流_QQ_2240410488 阅读(437) 评论(0) 推荐(0) 编辑
摘要:在pytorch里面实现word embedding是通过一个函数来实现的:nn.Embedding 1 2 3 4 5 6 7 8 9 10 11 12 13 # -*- coding: utf-8 -*- import numpy as np import torch import torch. 阅读全文
posted @ 2019-06-21 16:37 交流_QQ_2240410488 阅读(234) 评论(0) 推荐(0) 编辑
摘要:negative log likelihood文章目录negative log likelihood似然函数(likelihood function)OverviewDefinition离散型概率分布(Discrete probability distributions)连续型概率分布(Contin 阅读全文
posted @ 2019-06-21 15:51 交流_QQ_2240410488 阅读(6755) 评论(0) 推荐(0) 编辑
摘要:前言 本系列教程为pytorch官网文档翻译。本文对应官网地址:https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html 系列教程总目录传送门:我是一个传送门 本系列教程对应的 jupyter noteb 阅读全文
posted @ 2019-06-21 14:09 交流_QQ_2240410488 阅读(617) 评论(0) 推荐(0) 编辑
摘要:我们创建一个正则表达式var RegExp = /^(123)(456)\2\1$/;这个正则表达式匹配到的字符串就是123456456123创建另外第二正则表达式var RegExp1 = /^(123)(456)\1$/;这个正则表达式匹配到的字符串是123456123创建另外第三正则表达式va 阅读全文
posted @ 2019-06-21 13:00 交流_QQ_2240410488 阅读(358) 评论(0) 推荐(0) 编辑
摘要:版权声明:博客文章都是作者辛苦整理的,转载请注明出处,谢谢!http://blog.csdn.net/m0_37306360/article/details/79318644简介在这个项目中,我们将使用PyTorch框架实现一个神经网络,这个网络实现法文翻译成英文。这个项目是Sean Roberts 阅读全文
posted @ 2019-06-21 11:08 交流_QQ_2240410488 阅读(1436) 评论(0) 推荐(0) 编辑
摘要:1、tf.reduce_max函数的作用:计算张量的各个维度上的元素的最大值。例子: import tensorflow as tfmax_value = tf.reduce_max([1, 3, 2])with tf.Session() as sess: max_value = sess.run( 阅读全文
posted @ 2019-06-21 09:23 交流_QQ_2240410488 阅读(1191) 评论(0) 推荐(0) 编辑
摘要:描述 Python 字典(Dictionary) get() 函数返回指定键的值,如果值不在字典中返回默认值。 语法 get()方法语法: dict.get(key, default=None) 参数 key -- 字典中要查找的键。 default -- 如果指定键的值不存在时,返回该默认值值。 阅读全文
posted @ 2019-06-21 09:14 交流_QQ_2240410488 阅读(405) 评论(0) 推荐(0) 编辑
摘要:\n 软回车: 在Windows 中表示换行且回到下一行的最开始位置。相当于Mac OS 里的 \r 的效果。 在Linux、unix 中只表示换行,但不会回到下一行的开始位置。\r 软空格: 在Linux、unix 中表示返回到当行的最开始位置。 在Mac OS 中表示换行且返回到下一行的最开始位 阅读全文
posted @ 2019-06-21 08:39 交流_QQ_2240410488 阅读(1497) 评论(0) 推荐(0) 编辑
摘要:博客地址:http://blog.csdn.net/wangxinginnlp/article/details/52944432 工具名称:T2T: Tensor2Tensor Transformers 地址:https://github.com/tensorflow/tensor2tensor 语 阅读全文
posted @ 2019-06-20 14:39 交流_QQ_2240410488 阅读(820) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/nockinonheavensdoor/article/details/82320580 先看看简单例子: 1 2 3 4 5 6 7 用torch.tensor让list成为tensor: 1 2 3 4 5 自动求导设requires_grad=Tru 阅读全文
posted @ 2019-06-19 17:14 交流_QQ_2240410488 阅读(645) 评论(0) 推荐(0) 编辑
摘要:如何运行Moses 1. Moses的历史 Moses是Pharaoh的升级版本,增加了许多功能。它是一个基于短语的统计机器翻译系统,整个系统用C++语言写成,从训练到解码完全开放源代码,可以运行在Linux平台和Windows平台。它有两大特点: 1.1 Factored Translation 阅读全文
posted @ 2019-06-19 17:08 交流_QQ_2240410488 阅读(895) 评论(0) 推荐(0) 编辑
摘要:Q: 什么是Beam Search? 它在NLP中的什么场景里会⽤到? 传统的广度优先策略能够找到最优的路径,但是在搜索空间非常大的情况下,内存占用是指数级增长,很容易造成内存溢出,因此提出了beam search的算法。 beam search尝试在广度优先基础上进行进行搜索空间的优化(类似于剪枝 阅读全文
posted @ 2019-06-19 16:07 交流_QQ_2240410488 阅读(223) 评论(0) 推荐(0) 编辑
摘要:源码下载的地址:https://github.com/fxsjy/jieba 演示地址:http://jiebademo.ap01.aws.af.cm/ 一 “结巴”中文分词:做最好的 Python 中文分词组件 。 支持三种分词模式:精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中 阅读全文
posted @ 2019-06-19 09:36 交流_QQ_2240410488 阅读(6869) 评论(0) 推荐(0) 编辑
摘要:jieba“结巴”中文分词:做最好的 Python 中文分词组件 github:https://github.com/fxsjy/jieba 特点支持三种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析;全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;搜索引 阅读全文
posted @ 2019-06-19 09:27 交流_QQ_2240410488 阅读(1401) 评论(0) 推荐(0) 编辑
摘要:第一次接触LogisticRegressionCV ,记录一下。 Logistic回归是分类算法,不能应用于回归中(传入模型的y值,不能是float类型,必须是int类型) 正则化选择参数 :penalty ——> L1 / L2 默认是L2的正则化,一般使用L2就可以了,但是如果还是过拟合,就可以 阅读全文
posted @ 2019-06-18 18:07 交流_QQ_2240410488 阅读(2140) 评论(0) 推荐(0) 编辑
摘要:使用说明 参数 sklearn.metrics.classification_report(y_true, y_pred, labels=None, target_names=None, sample_weight=None, digits=2, output_dict=False) y_true: 阅读全文
posted @ 2019-06-18 17:59 交流_QQ_2240410488 阅读(15546) 评论(1) 推荐(0) 编辑
摘要:KL DivergenceKL( Kullback–Leibler) Divergence中文译作KL散度,从信息论角度来讲,这个指标就是信息增益(Information Gain)或相对熵(Relative Entropy),用于衡量一个分布相对于另一个分布的差异性,注意,这个指标不能用作距离衡量 阅读全文
posted @ 2019-06-18 16:48 交流_QQ_2240410488 阅读(4317) 评论(0) 推荐(0) 编辑
摘要:在数据库中,schema(发音 “skee-muh” 或者“skee-mah”,中文叫模式)是数据库的组织和结构,schemas andschemata都可以作为复数形式。模式中包含了schema对象,可以是表(table)、列(column)、数据类型(data type)、视图(view)、存储 阅读全文
posted @ 2019-06-18 09:31 交流_QQ_2240410488 阅读(6552) 评论(0) 推荐(0) 编辑
摘要:参考: http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/00138681963899940a998c0ace64bb5ad45d1b56b103c48000 ############ 阅读全文
posted @ 2019-06-18 09:06 交流_QQ_2240410488 阅读(1233) 评论(0) 推荐(0) 编辑
摘要:Python 正则表达式 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可 阅读全文
posted @ 2019-06-18 09:04 交流_QQ_2240410488 阅读(248) 评论(0) 推荐(0) 编辑
摘要:在本章节我们将学习如何绘制条形图和直方图 条形图与直方图的区别:首先,条形图是用条形的长度表示各类别频数的多少,其宽度(表示类别)则是固定的; 直方图是用面积表示各组频数的多少,矩形的高度表示每一组的频数或频率,宽度则表示各组的组距,因此其高度与宽度均有意义。 其次,由于分组数据具有连续性,直方图的 阅读全文
posted @ 2019-06-17 09:03 交流_QQ_2240410488 阅读(1300) 评论(0) 推荐(0) 编辑
摘要:背景 很多场景需要考虑数据分布的相似度/距离:比如确定一个正态分布是否能够很好的描述一个群体的身高(正态分布生成的样本分布应当与实际的抽样分布接近),或者一个分类算法是否能够很好地区分样本的特征(在两个分类下的数据分布的差异应当比较大)。 (例子:上图来自 OpenAI的 Radford A , J 阅读全文
posted @ 2019-06-17 08:54 交流_QQ_2240410488 阅读(665) 评论(0) 推荐(0) 编辑
摘要:(一)归一化的作用 在机器学习领域中,不同评价指标(即特征向量中的不同特征就是所述的不同评价指标)往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进 阅读全文
posted @ 2019-06-03 21:51 交流_QQ_2240410488 阅读(3044) 评论(0) 推荐(0) 编辑
摘要:今天是周末,之前给自己定了一个小目标:每周都要写一篇博客,不管是关于什么内容的都行,关键在于总结和思考,今天我选的主题是梯度提升树的一些方法,主要从这些方法的原理以及实现过程入手讲解这个问题。 本文按照这些方法出现的先后顺序叙述。 GBDT 梯度提升树实在提升树的基础上发展而来的一种使用范围更广的方 阅读全文
posted @ 2019-06-03 09:33 交流_QQ_2240410488 阅读(385) 评论(0) 推荐(0) 编辑
摘要:啰嗦开场白读本科期间,信号与系统里面经常讲到卷积(convolution),自动控制原理里面也会经常有提到卷积。硕士期间又学了线性系统理论与数字信号处理,里面也是各种大把大把卷积的概念。至于最近大火的深度学习,更有专门的卷积神经网络(Convolutional Neural Network, CNN 阅读全文
posted @ 2019-06-02 22:19 交流_QQ_2240410488 阅读(326) 评论(0) 推荐(0) 编辑
摘要:笔者的理解:“卷积”就是“加权求和” “信号与响应的卷积”体现的是:时间上的“加权求和”; “图像平滑处理的卷积”体现的是:空间上的“加权求和”。 (后文内容为转载) 一、卷积为什么叫“卷”积 从数学上讲,卷积就是一种运算。 某种运算,能被定义出来,至少有以下特征: 1 2 比如加法: 1 2 卷积 阅读全文
posted @ 2019-06-02 22:17 交流_QQ_2240410488 阅读(1964) 评论(0) 推荐(0) 编辑
摘要:由于计算机视觉的大红大紫,二维卷积的用处范围最广。因此本文首先介绍二维卷积,之后再介绍一维卷积与三维卷积的具体流程,并描述其各自的具体应用。 1. 二维卷积 图中的输入的数据维度为14×1414×14,过滤器大小为5×55×5,二者做卷积,输出的数据维度为10×1010×10(14−5+1=1014 阅读全文
posted @ 2019-06-02 20:03 交流_QQ_2240410488 阅读(2392) 评论(0) 推荐(0) 编辑
摘要:我的答案是,在Conv2D输入通道为1的情况下,二者是没有区别或者说是可以相互转化的。首先,二者调用的最后的代码都是后端代码(以TensorFlow为例,在tensorflow_backend.py里面可以找到): x = tf.nn.convolution( input=x, filter=ker 阅读全文
posted @ 2019-06-02 19:56 交流_QQ_2240410488 阅读(2284) 评论(0) 推荐(0) 编辑
摘要:卷积神经网络(CNN)张量(图像)的尺寸和参数计算(深度学习) 分享一些公式计算张量(图像)的尺寸,以及卷积神经网络(CNN)中层参数的计算。 以AlexNet网络为例,以下是该网络的参数结构图。 AlexNet网络的层结构如下: 1.Input: 图像的尺寸是227*227*3. 2.Conv-1 阅读全文
posted @ 2019-06-02 19:32 交流_QQ_2240410488 阅读(4795) 评论(0) 推荐(0) 编辑
摘要:我们首先要知道什么是可迭代的对象(可以用for循环的对象)Iterable: 一类:list,tuple,dict,set,str 二类:generator,包含生成器和带yield的generatoe function 而生成器不但可以作用于for,还可以被next()函数不断调用并返回下一个值, 阅读全文
posted @ 2019-06-02 17:08 交流_QQ_2240410488 阅读(1250) 评论(0) 推荐(0) 编辑
摘要:OpenMP基本概念OpenMP是一种用于共享内存并行系统的多线程程序设计方案,支持的编程语言包括C、C++和Fortran。OpenMP提供了对并行算法的高层抽象描述,特别适合在多核CPU机器上的并行程序设计。编译器根据程序中添加的pragma指令,自动将程序并行处理,使用OpenMP降低了并行编 阅读全文
posted @ 2019-06-01 18:37 交流_QQ_2240410488 阅读(796) 评论(0) 推荐(0) 编辑
摘要:说明 1、继承自object的新式类才有__new__ 2、__new__至少要有一个参数cls,代表当前类,此参数在实例化时由Python解释器自动识别 3、__new__必须要有返回值,返回实例化出来的实例,这点在自己实现__new__时要特别注意,可以return父类(通过super(当前类名 阅读全文
posted @ 2019-06-01 11:12 交流_QQ_2240410488 阅读(209) 评论(0) 推荐(0) 编辑
摘要:先上代码 其中,__new__()不是一定要有,只有继承自object的类才有,该方法可以return父类(通过super(当前类名, cls).__new__())出来的实例,或者直接是object的__new__出来的实例。值得注意的是,在定义子类时没有重新定义__new__()时,Python 阅读全文
posted @ 2019-06-01 11:03 交流_QQ_2240410488 阅读(230) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示