07 2019 档案

摘要:Savertensorflow 中的 Saver 对象是用于 参数保存和恢复的。如何使用呢? 这里介绍了一些基本的用法。 官网中给出了这么一个例子: v1 = tf.Variable(..., name='v1')v2 = tf.Variable(..., name='v2') # Pass the 阅读全文
posted @ 2019-07-31 16:06 交流_QQ_2240410488 阅读(446) 评论(0) 推荐(0) 编辑
摘要:TensorFlow 2.0 将包含许多 API 变更,例如,对参数进行重新排序、重新命名符号和更改参数的默认值。手动执行所有这些变更不仅枯燥乏味,而且容易出错。为简化变更过程并让您尽可能顺畅地过渡到 TensorFlow 2.0,TensorFlow 工程团队创建了实用程序 tf_upgrade_ 阅读全文
posted @ 2019-07-31 12:24 交流_QQ_2240410488 阅读(4321) 评论(0) 推荐(0) 编辑
摘要:tf.cast:用于改变某个张量的数据类型 例如: import tensorflow as tf;import numpy as np; A = tf.convert_to_tensor(np.array([[1,1,2,4], [3,4,8,5]])) with tf.Session() as 阅读全文
posted @ 2019-07-31 10:26 交流_QQ_2240410488 阅读(847) 评论(0) 推荐(0) 编辑
摘要:https://baike.baidu.com/item/%E6%96%87%E4%BB%B6%E5%8F%A5%E6%9F%84 在文件I/O中,要从一个文件读取数据,应用程序首先要调用操作系统函数并传送文件名,并选一个到该文件的路径来打开文件。该函数取回一个顺序号,即文件句柄(file hand 阅读全文
posted @ 2019-07-31 10:22 交流_QQ_2240410488 阅读(120) 评论(0) 推荐(0) 编辑
摘要:python中有两个类似的:pickle与cPickle;两者的关系:“cPickle – A faster pickle” pickle模块中的两个主要函数是dump()和load()。dump()函数接受一个文件句柄和一个数据对象作为参数,把数据对象以特定的格式保存到给定的文件中。当我们使用lo 阅读全文
posted @ 2019-07-31 10:20 交流_QQ_2240410488 阅读(1076) 评论(0) 推荐(0) 编辑
摘要:在很多机器学习的实验室中,机器已经进行了上万小时的训练。在这个过程中,研究者们往往会走很多弯路,也会修复很多bug,但可以肯定的是,在机器学习的研究过程中,学到经验和知识的并不仅仅是机器,我们人类也积累了丰富的经验,本文就将给你几条最实用的研究建议。 接下来本文将介绍一些训练深度神经网络时的经验(主 阅读全文
posted @ 2019-07-31 09:29 交流_QQ_2240410488 阅读(380) 评论(0) 推荐(0) 编辑
摘要:这篇文章总结了概率统计中期望、方差、协方差和相关系数的定义、性质和基本运算规则。 一、期望 定义: 设P(x)是一个离散概率分布函数自变量的取值范围是。那么其期望被定义为: 设P(x)是一个连续概率分布函数 ,那么他的期望是: 性质: 1.线性运算: 期望服从先行性质,因此线性运算的期望等于期望的线 阅读全文
posted @ 2019-07-31 09:13 交流_QQ_2240410488 阅读(21965) 评论(1) 推荐(0) 编辑
摘要:“Xavier”初始化方法是一种很有效的神经网络初始化方法,方法来源于2010年的一篇论文《Understanding the difficulty of training deep feedforward neural networks》,可惜直到近两年,这个方法才逐渐得到更多人的应用和认可。 为 阅读全文
posted @ 2019-07-31 09:07 交流_QQ_2240410488 阅读(225) 评论(0) 推荐(0) 编辑
摘要:在tensorflow中,有一个初始化函数:tf.contrib.layers.variance_scaling_initializer。Tensorflow 官网的介绍为: variance_scaling_initializer( factor=2.0, mode='FAN_IN', unifo 阅读全文
posted @ 2019-07-31 09:01 交流_QQ_2240410488 阅读(821) 评论(0) 推荐(0) 编辑
摘要:PyTorch结构介绍对PyTorch架构的粗浅理解,不能保证完全正确,但是希望可以从更高层次上对PyTorch上有个整体把握。水平有限,如有错误,欢迎指错,谢谢! 几个重要的类型和数值相关的TensorVariableParameterbuffer(这个其实不能叫做类型,其实他就是用来保存tens 阅读全文
posted @ 2019-07-30 15:04 交流_QQ_2240410488 阅读(558) 评论(0) 推荐(0) 编辑
摘要:Module 是 pytorch 提供的一个基类,每次我们要 搭建 自己的神经网络的时候都要继承这个类,继承这个类会使得我们 搭建网络的过程变得异常简单。 本文主要关注 Module 类的内部是怎么样的。 初始化方法中做了什么def __init__(self): self._backend = t 阅读全文
posted @ 2019-07-30 15:01 交流_QQ_2240410488 阅读(4092) 评论(2) 推荐(0) 编辑
摘要:前言 申请的专栏开通了,刚好最近闲下来了,就打算开这个坑了hhhhh 第一篇就先讲一讲pytorch的运行机制好了。。。 记得当时刚刚接触的时候一直搞不明白,为什么自己只是定义了几个网络,就可以完整的训练整个模型,它背后的机制又是如何,搞明白了这个,才有可能去做更多的定制的更改,比如更改loss,反 阅读全文
posted @ 2019-07-30 14:57 交流_QQ_2240410488 阅读(3157) 评论(0) 推荐(0) 编辑
摘要:pytorch在torch.nn.init中提供了常用的初始化方法函数,这里简单介绍,方便查询使用。 介绍分两部分: 1. Xavier,kaiming系列; 2. 其他方法分布 Xavier初始化方法,论文在《Understanding the difficulty of training dee 阅读全文
posted @ 2019-07-30 13:56 交流_QQ_2240410488 阅读(11062) 评论(0) 推荐(1) 编辑
摘要:一、nn.Embedding.weight初始化分布 nn.Embedding.weight随机初始化方式是标准正态分布 ,即均值$\mu=0$,方差$\sigma=1$的正态分布。 论据1——查看源代码 ## class Embedding具体实现(在此只展示部分代码) import torch 阅读全文
posted @ 2019-07-30 13:53 交流_QQ_2240410488 阅读(14242) 评论(0) 推荐(0) 编辑
摘要:对于cnn前馈神经网络如果前馈一次写一个forward函数会有些麻烦,在此就有两种简化方式,ModuleList和Sequential。其中Sequential是一个特殊的module,它包含几个子Module,前向传播时会将输入一层接一层的传递下去。ModuleList也是一个特殊的module, 阅读全文
posted @ 2019-07-30 13:50 交流_QQ_2240410488 阅读(1978) 评论(0) 推荐(0) 编辑
摘要:BERT可视化工具体验:bertviz是用于BERT模型注意力层的可视化页面。 1,bertviz的github地址:https://github.com/jessevig/bertviz 2,将bertviz项目clone到本地,启动Jupyter notebbok。 D:\PycharmProj 阅读全文
posted @ 2019-07-30 12:38 交流_QQ_2240410488 阅读(1903) 评论(0) 推荐(0) 编辑
摘要:本篇文章主要是解读模型主体代码modeling.py。在阅读这篇文章之前希望读者们对bert的相关理论有一定的了解,尤其是transformer的结构原理,网上的资料很多,本文内容对原理部分就不做过多的介绍了。 我自己写出来其中一个目的也是帮助自己学习整理、当你输出的时候才也会明白哪里懂了哪里不懂。 阅读全文
posted @ 2019-07-30 11:22 交流_QQ_2240410488 阅读(683) 评论(0) 推荐(0) 编辑
摘要:https://github.com/google-research/bert BERT ***** New May 31st, 2019: Whole Word Masking Models ***** This is a release of several new models which w 阅读全文
posted @ 2019-07-29 17:51 交流_QQ_2240410488 阅读(632) 评论(0) 推荐(0) 编辑
摘要:Motivation: 靠attention机制,不使用rnn和cnn,并行度高 通过attention,抓长距离依赖关系比rnn强 创新点: 通过self-attention,自己和自己做attention,使得每个词都有全局的语义信息(长依赖 由于 Self-Attention 是每个词和所有词 阅读全文
posted @ 2019-07-29 17:10 交流_QQ_2240410488 阅读(372) 评论(0) 推荐(0) 编辑
摘要:目录前言源码解析主函数自定义模型遮蔽词预测下一句预测规范化数据集前言本部分介绍BERT训练过程,BERT模型训练过程是在自己的TPU上进行的,这部分我没做过研究所以不做深入探讨。BERT针对两个任务同时训练。1.下一句预测。2.遮蔽词识别下面介绍BERT的预训练模型run_pretraining.p 阅读全文
posted @ 2019-07-29 16:59 交流_QQ_2240410488 阅读(3290) 评论(0) 推荐(0) 编辑
摘要:目录预训练源码结构简介输入输出源码解析参数主函数创建训练实例下一句预测&实例生成随机遮蔽输出结果一览预训练源码结构简介关于BERT,简单来说,它是一个基于Transformer架构,结合遮蔽词预测和上下句识别的预训练NLP模型。至于效果:在11种不同NLP测试中创出最佳成绩关于介绍BERT的文章我看 阅读全文
posted @ 2019-07-29 16:58 交流_QQ_2240410488 阅读(1908) 评论(0) 推荐(0) 编辑
摘要:目录前言源码解析模型配置参数BertModelword embeddingembedding_postprocessorTransformerself_attention模型应用前言BERT的模型主要是基于Transformer架构(论文:Attention is all you need)。它抛开 阅读全文
posted @ 2019-07-29 16:56 交流_QQ_2240410488 阅读(1098) 评论(0) 推荐(0) 编辑
摘要:tmpName = ''if tmpName: print tmpName #没有输出if tmpName is not None: print tmpName #有输出,是空行 阅读全文
posted @ 2019-07-29 16:48 交流_QQ_2240410488 阅读(1687) 评论(0) 推荐(0) 编辑
摘要:pytorch nn.Embeddingclass torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sp 阅读全文
posted @ 2019-07-29 16:34 交流_QQ_2240410488 阅读(1644) 评论(0) 推荐(0) 编辑
摘要:机器之心报道 作者:邱陆陆 8 月中旬,谷歌大脑成员 Martin Wicke 在一封公开邮件中宣布,新版本开源框架——TensorFlow 2.0 预览版将在年底之前正式发布。今日,在上海谷歌开发者大会上,机器之心独家了解到一个重大的改变将会把 Eager Execution 变为 TensorF 阅读全文
posted @ 2019-07-29 15:28 交流_QQ_2240410488 阅读(1482) 评论(0) 推荐(0) 编辑
摘要:近日,PyTorch 社区发布了一个深度学习工具包 PyTorchHub, 帮助机器学习工作者更快实现重要论文的复现工作。PyTorchHub 由一个预训练模型仓库组成,专门用于提高研究工作的复现性以及新的研究。同时它还内置了对Google Colab的支持,并与Papers With Code集成 阅读全文
posted @ 2019-07-29 10:33 交流_QQ_2240410488 阅读(713) 评论(0) 推荐(0) 编辑
摘要:Google 2017年的论文 Attention is all you need 阐释了什么叫做大道至简!该论文提出了Transformer模型,完全基于Attention mechanism,抛弃了传统的RNN和CNN。 我们根据论文的结构图,一步一步使用 PyTorch 实现这个Transfo 阅读全文
posted @ 2019-07-29 10:16 交流_QQ_2240410488 阅读(1834) 评论(0) 推荐(0) 编辑
摘要:https://daiwk.github.io/posts/nlp-bert.html 目录 概述 BERT 模型架构 Input Representation Pre-training Tasks Task #1: Masked LM Task #2: Next Sentence Predicti 阅读全文
posted @ 2019-07-29 10:14 交流_QQ_2240410488 阅读(1821) 评论(0) 推荐(0) 编辑
摘要:这篇文章写得简单易懂,很容易看懂,转载一下http://www.360doc.com/content/19/0510/10/63985477_834745870.shtml 前言 红黑树,对很多童鞋来说,是既熟悉又陌生。熟悉是因为在校学习期间,准备面试时,这是重点。然后经过多年的荒废,如今已经忘记的 阅读全文
posted @ 2019-07-28 19:50 交流_QQ_2240410488 阅读(128) 评论(0) 推荐(0) 编辑
摘要:#例1. 简单输出斐波那契數列前 N 个数#缺点:该函数可复用性较差,因为 fab 函数返回 None,其他函数无法获得该函数生成的数列#要提高 fab 函数的可复用性,最好不要直接打印出数列,而是返回一个 List。def fab1(max): n, a, b = 0, 0, 1 while n 阅读全文
posted @ 2019-07-28 17:21 交流_QQ_2240410488 阅读(297) 评论(0) 推荐(0) 编辑
摘要:问题: 例如,我想理解以下代码 下面是调用者 在_get_child_candidates这个函数被调用时发生了什么?返回了一个列表?还是只返回了一个元素?然后又再次被调用?什么时候调用结束? 这段代码的来源 Jochen Schulz (jrschulz), who made a great Py 阅读全文
posted @ 2019-07-28 17:08 交流_QQ_2240410488 阅读(295) 评论(0) 推荐(0) 编辑
摘要:本文源自RQ作者的一篇博文,原文是Iterables vs. Iterators vs. Generators,俺写的这篇文章是按照自己的理解做的参考翻译,算不上是原文的中译版本,推荐阅读原文,谢谢网友指正。 在了解Python的数据结构时,容器(container)、可迭代对象(iterable) 阅读全文
posted @ 2019-07-28 17:00 交流_QQ_2240410488 阅读(301) 评论(0) 推荐(0) 编辑
摘要:你好,很高兴为你解答。猴子补丁的由来首先说个我自己的笑话,话说Python算是我接触的稍微深点儿的第一门动态语言,用Python没多久就知道了有个Gevent,学习Gevent没多久就知道有个“猴子补丁”的概念。最开始觉得这么名字挺乐呵,猴子补丁,为啥叫这么个名儿?是因为猴子的动作迅速灵敏,Geve 阅读全文
posted @ 2019-07-28 15:01 交流_QQ_2240410488 阅读(229) 评论(0) 推荐(0) 编辑
摘要:生成器对象是一个迭代器。但是它比迭代器对象多了一些方法,它们包括send方法,throw方法和close方法。这些方法,主要是用于外部与生成器对象的交互。本文先介绍send方法。 send方法有一个参数,该参数指定的是上一次被挂起的yield语句的返回值。这样说起来比较抽象,看下面的例子。 def 阅读全文
posted @ 2019-07-28 14:21 交流_QQ_2240410488 阅读(422) 评论(0) 推荐(0) 编辑
摘要:今天在学习生成器对象(generation object)运行以下代码时,遇到了一个错误: #定义生成器函数def liebiao(): for x in range(10): yield x#函数调用g = liebiao() #打印元素print(g.next())D:\>python test 阅读全文
posted @ 2019-07-28 12:06 交流_QQ_2240410488 阅读(8075) 评论(0) 推荐(1) 编辑
摘要:协程,又称微线程,纤程。英文名Coroutine。 协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。 子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。 所以子程序调用是通过栈实现 阅读全文
posted @ 2019-07-28 12:02 交流_QQ_2240410488 阅读(110) 评论(0) 推荐(0) 编辑
摘要:代码耦合:一个软件结构内不同模块之间互连程度的度量(耦合性也叫块间联系。指软件系统结构中各模块间相互联系紧密程度的一种度量。模块之间联系越紧密,其耦合性就越强,模块的独立性则越差,模块间耦合的高低取决于模块间接口的复杂性,调用的方式以及传递的信息。)软件工程规定写代码的原则是“高内聚,低耦合”。内聚 阅读全文
posted @ 2019-07-28 11:45 交流_QQ_2240410488 阅读(470) 评论(0) 推荐(0) 编辑
摘要:对于计时有两个十分有用的魔法命令:%%time 和 %timeit. 如果你有些代码运行地十分缓慢,而你想确定是否问题出在这里,这两个命令将会非常方便。 1.%%time 将会给出cell的代码运行一次所花费的时间。 %%timeimport timefor _ in range(1000): ti 阅读全文
posted @ 2019-07-28 11:02 交流_QQ_2240410488 阅读(876) 评论(0) 推荐(0) 编辑
摘要:一阶差分就是离散函数中连续相邻两项之差;定义X(k),则Y(k)=X(k+1)-X(k)就是此函数的一阶差分Y(k)的一阶差分Z(k)=Y(k+1)-Y(k)=X(k+2)-2*X(k+1)+X(k)为此函数的二阶差分.二阶差分法在工程,电学等方面应用还是比较广泛的,具体可以搜索一下 阅读全文
posted @ 2019-07-27 22:26 交流_QQ_2240410488 阅读(906) 评论(0) 推荐(0) 编辑
摘要:二阶矩阵指的是2*2矩阵,阶只对方阵定义. 阅读全文
posted @ 2019-07-27 22:21 交流_QQ_2240410488 阅读(531) 评论(0) 推荐(0) 编辑
摘要:https://zhidao.baidu.com/question/987330764742072579.html binary,二进制的意思 阅读全文
posted @ 2019-07-27 17:24 交流_QQ_2240410488 阅读(1640) 评论(0) 推荐(0) 编辑
摘要:了解 Python 字节码是什么,Python 如何使用它来执行你的代码,以及知道它是如何帮到你的。如果你曾经编写过 Python,或者只是使用过 Python,你或许经常会看到 Python 源代码文件——它们的名字以 .py 结尾。你可能还看到过其它类型的文件,比如以 .pyc 结尾的文件,或许 阅读全文
posted @ 2019-07-27 15:59 交流_QQ_2240410488 阅读(248) 评论(0) 推荐(0) 编辑
摘要:多版本python安装过程略过不提提供完美解决python启动和各版本pip问题; 阅读全文
posted @ 2019-07-27 15:26 交流_QQ_2240410488 阅读(1346) 评论(0) 推荐(0) 编辑
摘要:Python的每个新版本都会增加一些新的功能,或者对原来的功能作一些改动。有些改动是不兼容旧版本的,也就是在当前版本运行正常的代码,到下一个版本运行就可能不正常了。 具体说来就是,某个版本中出现了某个新的功能特性,而且这个特性和当前版本中使用的不兼容,也就是它在该版本中不是语言标准,那么我如果想要使 阅读全文
posted @ 2019-07-27 15:19 交流_QQ_2240410488 阅读(453) 评论(0) 推荐(0) 编辑
摘要:下面是我在学习中遇到的问题,给大家分享一下: ''' 这里是测试代码 '''# coding = utf-8from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver 阅读全文
posted @ 2019-07-27 15:09 交流_QQ_2240410488 阅读(1742) 评论(0) 推荐(0) 编辑
摘要:1、__init__(): 所有类的超类object,有一个默认包含pass的__init__()实现,这个函数会在对象初始化的时候调用,我们可以选择实现,也可以选择不实现,一般建议是实现的,不实现对象属性就不会被初始化,虽然我们仍然可以对其进行赋值,但是它已经成了隐式的了,编程时显示远比隐式的更好 阅读全文
posted @ 2019-07-27 13:41 交流_QQ_2240410488 阅读(214) 评论(0) 推荐(0) 编辑
摘要:对于规模更大、运行时间更长的数据分析应用程序,你可能会希望测试一下各个部分或函数调用或语句的执行时间。你可能会希望了解某个复杂计算过程中到底是哪些函数占用的时间最多。幸运的是,在开发和测试代码的过程中,IPython能够让你轻松得到这些信息。使用内置的time模块及其time.clock和time. 阅读全文
posted @ 2019-07-27 10:34 交流_QQ_2240410488 阅读(1955) 评论(0) 推荐(0) 编辑
摘要:1. 先看一段代码 def is_login(func): def foo(*args,**kwargs): return func(*args,**kwargs) return foo def test(): print('我是:',test.__name__) @is_login def tes 阅读全文
posted @ 2019-07-27 09:47 交流_QQ_2240410488 阅读(4544) 评论(0) 推荐(0) 编辑
摘要:前言 对Google开源出来的bert代码,来阅读下。不纠结于代码组织形式,而只是梳理下其训练集的生成,训练的self-attention和multi-head的具体实现。 训练集的生成 主要实现在create_pretraining_data.py和tokenization.py两个脚本里。输入文 阅读全文
posted @ 2019-07-26 15:49 交流_QQ_2240410488 阅读(467) 评论(0) 推荐(0) 编辑
摘要:https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLear 阅读全文
posted @ 2019-07-26 14:05 交流_QQ_2240410488 阅读(1517) 评论(0) 推荐(1) 编辑
摘要:https://zhuanlan.zhihu.com/p/54356280 大数据文摘与百度NLP联合出品 编译:张驰、毅航、Conrad、龙心尘 来源:https://jalammar.github.io/illustrated-transformer/ 编者按:前一段时间谷歌推出的BERT模型在 阅读全文
posted @ 2019-07-26 13:51 交流_QQ_2240410488 阅读(211) 评论(0) 推荐(0) 编辑
摘要:描述 isinstance() 函数来判断一个对象是否是一个已知的类型,类似 type()。 isinstance() 与 type() 区别: type() 不会认为子类是一种父类类型,不考虑继承关系。 isinstance() 会认为子类是一种父类类型,考虑继承关系。 如果要判断两个类型是否相同 阅读全文
posted @ 2019-07-26 09:51 交流_QQ_2240410488 阅读(256) 评论(0) 推荐(0) 编辑
摘要:https://www.jianshu.com/p/22e462f01d8c pre-train是迁移学习的基础,虽然Google已经发布了各种预训练好的模型,而且因为资源消耗巨大,自己再预训练也不现实(在Google Cloud TPU v2 上训练BERT-Base要花费近500刀,耗时达到两周 阅读全文
posted @ 2019-07-25 16:11 交流_QQ_2240410488 阅读(1248) 评论(0) 推荐(0) 编辑
摘要:https://zhuanlan.zhihu.com/p/50773178 概述 本文基于 pytorch-pretrained-BERT(huggingface)版本的复现,探究如下几个问题: pytorch-pretrained-BERT的基本框架和使用 如何利用BERT将句子转为词向量 如何使 阅读全文
posted @ 2019-07-25 15:39 交流_QQ_2240410488 阅读(776) 评论(0) 推荐(0) 编辑
摘要:https://zhuanlan.zhihu.com/c_153732961 阅读全文
posted @ 2019-07-25 15:16 交流_QQ_2240410488 阅读(550) 评论(0) 推荐(0) 编辑
摘要:学习工具最快的方法就是在使用的过程中学习,也就是在工作中(解决实际问题中)学习。文章结尾处附完整代码。 一、数据准备 在Pytorch中提供了MNIST的数据,因此我们只需要使用Pytorch提供的数据即可。 from torchvision import datasets, transforms# 阅读全文
posted @ 2019-07-25 14:47 交流_QQ_2240410488 阅读(1477) 评论(0) 推荐(0) 编辑
摘要:https://zhuanlan.zhihu.com/p/32626442 骆梁宸 paper插画师;poster设计师;oral slides制作人 骆梁宸 paper插画师;poster设计师;oral slides制作人 骆梁宸 paper插画师;poster设计师;oral slides制作 阅读全文
posted @ 2019-07-25 13:00 交流_QQ_2240410488 阅读(728) 评论(0) 推荐(0) 编辑
摘要:Pytorch如何更新版本与卸载,使用pip,conda更新卸载Pytorch 2018年05月22日 07:33:52 醉雨轩Y 阅读数 19047 Pytorch如何更新版本与卸载,使用pip,conda更新卸载Pytorch 2018年05月22日 07:33:52 醉雨轩Y 阅读数 1904 阅读全文
posted @ 2019-07-25 12:58 交流_QQ_2240410488 阅读(1029) 评论(0) 推荐(0) 编辑
摘要:最近读一个代码发现用了一个梯度更新方法, 刚开始还以为是什么奇奇怪怪的梯度下降法, 最后分析一下是用一阶梯度及其二次幂做的梯度更新。网上搜了一下, 果然就是称为Adam的梯度更新算法, 全称是:自适应矩估计(adaptive moment estimation) 国际惯例, 参考博文: 一文看懂各种 阅读全文
posted @ 2019-07-25 12:18 交流_QQ_2240410488 阅读(561) 评论(0) 推荐(0) 编辑
摘要:深度炼丹如同炖排骨一般,需要先大火全局加热,紧接着中火炖出营养,最后转小火收汁。本文给出炼丹中的 “火候控制器”-- 学习率的几种调节方法,框架基于 pytorch 1. 自定义根据 epoch 改变学习率。 这种方法在开源代码中常见,此处引用 pytorch 官方实例中的代码 adjust_lr 阅读全文
posted @ 2019-07-25 11:12 交流_QQ_2240410488 阅读(1294) 评论(0) 推荐(0) 编辑
摘要:正则化(Regularization)机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作 ℓ1 \ell_1ℓ 1​ -norm 和 ℓ2 \ell_2ℓ 2​ -norm,中文称作 L1正则化 和 L2正则化,或者 L1范数 和 L2范数。 L1正则化和L2 阅读全文
posted @ 2019-07-25 10:44 交流_QQ_2240410488 阅读(435) 评论(0) 推荐(0) 编辑
摘要:**序言:**Adam自2014年出现之后,一直是受人追捧的参数训练神器,但最近越来越多的文章指出:Adam存在很多问题,效果甚至没有简单的SGD + Momentum好。因此,出现了很多改进的版本,比如AdamW,以及最近的ICLR-2018年最佳论文提出的Adam改进版Amsgrad。那么,Ad 阅读全文
posted @ 2019-07-25 10:33 交流_QQ_2240410488 阅读(3723) 评论(0) 推荐(0) 编辑
摘要:Δw(t)=−ε ∂w(t)∂E​ +αΔw(t−1)(9) 我们知道反向传播每次迭代的效果是这样的:w=w+Δw(t) w=w+\Delta w(t)w=w+Δw(t) 我们知道,每条训练数据都会导致训练的过程中,计算一次∂E∂w(t) \frac{∂E}{∂w(t)} ∂w(t)∂E​ ,假如我 阅读全文
posted @ 2019-07-25 10:19 交流_QQ_2240410488 阅读(1855) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/wishchin/article/details/80567558 自动调参的Adam方法已经非常给力了,不过这主要流行于工程界,在大多数科学实验室中,模型调参依然使用了传统的SGD方法,在SGD基础上增加各类学习率的主动控制,以达到对复杂模型的精细调参, 阅读全文
posted @ 2019-07-25 09:53 交流_QQ_2240410488 阅读(854) 评论(0) 推荐(1) 编辑
摘要:指数衰减学习率是先使用较大的学习率来快速得到一个较优的解,然后随着迭代的继续,逐步减小学习率,使得模型在训练后期更加稳定。在训练神经网络时,需要设置学习率(learning rate)控制参数的更新速度,学习速率设置过小,会极大降低收敛速度,增加训练时间;学习率太大,可能导致参数在最优解两侧来回振荡 阅读全文
posted @ 2019-07-25 08:48 交流_QQ_2240410488 阅读(822) 评论(0) 推荐(0) 编辑
摘要:以从某文件夹过滤出py文件为例: 法1: import glob import os os.chdir(“./”) for file in glob.glob(“*.py”): print file 法2: for file in os.listdir(“./”): if file.endswith 阅读全文
posted @ 2019-07-24 22:48 交流_QQ_2240410488 阅读(571) 评论(0) 推荐(0) 编辑
摘要:pip install chardet 执行 import chardet f = open('a.doc',r) data = f.read() print chardet.detect(data) 结果 {'confidence': 0.64465744, 'encoding': 'utf-8' 阅读全文
posted @ 2019-07-24 22:16 交流_QQ_2240410488 阅读(1501) 评论(0) 推荐(0) 编辑
摘要:PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类,分别是 a. 有序调整:等间隔调整(Step),按需调整学习率(MultiStep),指数衰减调整(Exponential)和 余弦退火CosineAnnealin 阅读全文
posted @ 2019-07-24 22:05 交流_QQ_2240410488 阅读(926) 评论(0) 推荐(0) 编辑
摘要:weight_decay防止过拟合的参数,使用方式:1 样本越多,该值越小2 模型参数越多,该值越大一般建议值:weight_decay: 0.0005 lr_mult,decay_mult关于偏置与参数使用不同的学习率与权重衰减项:1 偏置的学习率一般为参数的两倍比如一个卷积,有偏置的话,其学习率 阅读全文
posted @ 2019-07-24 21:37 交流_QQ_2240410488 阅读(574) 评论(0) 推荐(0) 编辑
摘要:Batch Normalization 学习笔记 原文地址:http://blog.csdn.net/hjimce/article/details/50866313 作者:hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Normalizati 阅读全文
posted @ 2019-07-24 21:35 交流_QQ_2240410488 阅读(270) 评论(0) 推荐(0) 编辑
摘要:白化(预处理步骤)【转】 介绍 我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤,这个预处理过程称为白化。举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性;更正式的说,我们希望通过白化 阅读全文
posted @ 2019-07-24 21:30 交流_QQ_2240410488 阅读(2481) 评论(0) 推荐(0) 编辑
摘要:torch.optim 构建 为每个参数单独设置选项 进行单次优化 optimizer.step() optimizer.step(closure) torch.optim是实现各种优化算法的包。最常用的方法都已经支持,接口很常规,所以以后也可以很容易地集成更复杂的方法。 如何使用optimizer 阅读全文
posted @ 2019-07-24 21:27 交流_QQ_2240410488 阅读(1818) 评论(0) 推荐(0) 编辑
摘要:一、简化前馈网络LeNet 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 import torch as t class LeNet(t.nn.Module): def __in 阅读全文
posted @ 2019-07-24 21:26 交流_QQ_2240410488 阅读(986) 评论(0) 推荐(0) 编辑
摘要:关于优化函数的调整拆下包:https://ptorch.com/docs/1/optim class torch.optim.Optimizer(params, defaults)所有优化的基类. 参数: params (iterable) —— 可迭代的Variable 或者 dict。指定应优化 阅读全文
posted @ 2019-07-24 17:31 交流_QQ_2240410488 阅读(11978) 评论(0) 推荐(0) 编辑
摘要:概念:Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法,它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文(Adam: A Method for Stoch 阅读全文
posted @ 2019-07-24 17:27 交流_QQ_2240410488 阅读(1625) 评论(0) 推荐(0) 编辑
摘要:微调 https://juejin.im/entry/5983115f6fb9a03c50227fd4 深度学习最常用的算法:Adam优化算法 阅读 15278 收藏 7 2017-08-03 阅读 15278 收藏 7 2017-08-03 原文链接:dataunion.org 从带宽扩展到丢包隐 阅读全文
posted @ 2019-07-24 17:19 交流_QQ_2240410488 阅读(1617) 评论(0) 推荐(0) 编辑
摘要:期望的公式扩展 一阶矩就是期望值,换句话说就是平均数(离散随机变量很好理解,连续的可以类比一下)。举例:xy坐标系中,x取大于零的整数,y1, y2, ...,yn 对应x=1, 2,..., n的值,现在我要对y求期望,就是所有y累加除以n,也就是y的均值。 此时y的均值我可以在坐标系中画一条线, 阅读全文
posted @ 2019-07-24 16:44 交流_QQ_2240410488 阅读(15036) 评论(1) 推荐(1) 编辑
摘要:这篇博客是在pytorch中基于apex使用混合精度加速的一个偏工程的描述,原理层面的解释并不是这篇博客的目的,不过在参考部分提供了非常有价值的资料,可以进一步研究。 一个关键原则:“仅仅在权重更新的时候使用fp32,耗时的前向和后向运算都使用fp16”。其中的一个技巧是:在反向计算开始前,将dlo 阅读全文
posted @ 2019-07-24 16:18 交流_QQ_2240410488 阅读(5634) 评论(0) 推荐(0) 编辑
摘要:文章目录基本介绍BertForTokenClassificationpytorch-crf实验项目参考基本介绍命名实体识别:命名实体识别任务是NLP中的一个基础任务。主要是从一句话中识别出命名实体。比如姚明在NBA打球 从这句话中应该可以识别出姚明(人), NBA(组织)这样两个实体。常见的方法是对 阅读全文
posted @ 2019-07-24 16:05 交流_QQ_2240410488 阅读(5542) 评论(0) 推荐(0) 编辑
摘要:当在jupyter下使用parser.parse_args()出错则改换为parser.parse_known_args()[0]其效用是差不多的,至于为什么出现错误,我也不知道… 阅读全文
posted @ 2019-07-24 15:09 交流_QQ_2240410488 阅读(3850) 评论(0) 推荐(1) 编辑
摘要:其他:windows使用nvidia-smi查看gpu信息 为什么将数据转移至GPU的方法叫做.cuda而不是.gpu,就像将数据转移至CPU调用的方法是.cpu?这是因为GPU的编程接口采用CUDA,而目前并不是所有的GPU都支持CUDA,只有部分Nvidia的GPU才支持。PyTorch未来可能 阅读全文
posted @ 2019-07-24 14:19 交流_QQ_2240410488 阅读(5853) 评论(0) 推荐(1) 编辑
摘要:https://zhuanlan.zhihu.com/p/46997268 NLP突破性成果 BERT 模型详细解读 章鱼小丸子 不懂算法的产品经理不是好的程序员 ​关注她 82 人赞了该文章 Google发布的论文《Pre-training of Deep Bidirectional Transf 阅读全文
posted @ 2019-07-24 00:00 交流_QQ_2240410488 阅读(9032) 评论(0) 推荐(0) 编辑
摘要:os.environ[“CUDA_DEVICE_ORDER”] = “PCI_BUS_ID” # 按照PCI_BUS_ID顺序从0开始排列GPU设备 os.environ[“CUDA_VISIBLE_DEVICES”] = “0” #设置当前使用的GPU设备仅为0号设备 设备名称为'/gpu:0'o 阅读全文
posted @ 2019-07-23 21:23 交流_QQ_2240410488 阅读(3557) 评论(0) 推荐(0) 编辑
摘要:import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"] = "-1" 阅读全文
posted @ 2019-07-23 21:22 交流_QQ_2240410488 阅读(460) 评论(0) 推荐(0) 编辑
摘要:参考Tensorflow Machine Leanrning Cookbook tf.ConfigProto()主要的作用是配置tf.Session的运算方式,比如gpu运算或者cpu运算 具体代码如下: import tensorflow as tf session_config = tf.Con 阅读全文
posted @ 2019-07-23 21:02 交流_QQ_2240410488 阅读(1820) 评论(0) 推荐(0) 编辑
摘要:在命令行中使用python时,python支持在其后面添加可选参数。 python命令的可选参数有很多,例如:使用可选参数h可以查询python的帮助信息; 可选参数m 下面我们来说说python命令的另一个可选参数m 首先我们可以使用 python -h来看看python自带的帮助信息是怎么描述m 阅读全文
posted @ 2019-07-23 20:14 交流_QQ_2240410488 阅读(430) 评论(0) 推荐(0) 编辑
摘要:《谷歌终于开源BERT代码:3 亿参数量,机器之心全面解读》,上周推送的这篇文章,全面解读基于TensorFlow实现的BERT代码。现在,PyTorch用户的福利来了:一个名为Hugging Face的团队近日公开了BERT模型的谷歌官方TensorFlow库的op-for-op PyTorch重 阅读全文
posted @ 2019-07-23 18:01 交流_QQ_2240410488 阅读(3632) 评论(0) 推荐(0) 编辑
摘要:from compiler.ast import flatten 上面这条语句好像在python3 以后就废除了,如果使用的话就会报错。Traceback (most recent call last): File "eval_ssd_network.py", line 31, in <module 阅读全文
posted @ 2019-07-23 17:40 交流_QQ_2240410488 阅读(1821) 评论(0) 推荐(0) 编辑
摘要:概要 Torch Script中的核心数据结构是ScriptModule。 它是Torch的nn.Module的类似物,代表整个模型作为子模块树。 与普通模块一样,ScriptModule中的每个单独模块都可以包含子模块,参数和方法。 在nn.Modules中,方法是作为Python函数实现的,但在 阅读全文
posted @ 2019-07-23 16:49 交流_QQ_2240410488 阅读(5502) 评论(0) 推荐(0) 编辑
摘要:BERT相关论文、文章和代码资源汇总 4条回复 BERT最近太火,蹭个热点,整理一下相关的资源,包括Paper, 代码和文章解读。 1、Google官方: 1) BERT: Pre-training of Deep Bidirectional Transformers for Language Un 阅读全文
posted @ 2019-07-23 16:42 交流_QQ_2240410488 阅读(1864) 评论(0) 推荐(0) 编辑
摘要:https://gitee.com/projects/import_github 阅读全文
posted @ 2019-07-23 16:19 交流_QQ_2240410488 阅读(357) 评论(0) 推荐(0) 编辑
摘要:前言 装完python3后发现库里面既有pip也有pip3,不知道它们的区别,因此特意去了解了一下。 解释 先搜索了一下看到了如下的解释, 安装了python3之后,库里面既会有pip3也会有pip 1. 使用pip install XXX 新安装的库会放在这个目录下面 python2.7/site 阅读全文
posted @ 2019-07-23 15:42 交流_QQ_2240410488 阅读(1465) 评论(0) 推荐(0) 编辑
摘要:1. 概述 pytest是一个非常成熟的全功能的Python测试框架,主要特点有以下几点: 1、简单灵活,容易上手,文档丰富; 2、支持参数化,可以细粒度地控制要测试的测试用例; 3、能够支持简单的单元测试和复杂的功能测试,还可以用来做selenium/appnium等自动化测试、接口自动化测试(p 阅读全文
posted @ 2019-07-23 15:26 交流_QQ_2240410488 阅读(392) 评论(0) 推荐(0) 编辑
摘要:pip 将 某包指定到某目录 安装: 阅读全文
posted @ 2019-07-23 15:14 交流_QQ_2240410488 阅读(2168) 评论(0) 推荐(0) 编辑
摘要:先上开源地址: https://github.com/huggingface/pytorch-transformers#quick-tour 官网: https://huggingface.co/pytorch-transformers/index.html PyTorch-Transformers 阅读全文
posted @ 2019-07-23 15:13 交流_QQ_2240410488 阅读(6399) 评论(0) 推荐(0) 编辑
摘要:pop()函数一般用来删除list列表的末尾元素,同样,kwargs.pop()用来删除关键字参数中的末尾元素,比如:kwargs = {'Michael': 95, 'Bob': 75, 'Tracy': 85}kwargs.pop()= {'Michael': 95, 'Bob': 75} 阅读全文
posted @ 2019-07-23 14:56 交流_QQ_2240410488 阅读(781) 评论(0) 推荐(0) 编辑
摘要:https://zhidao.baidu.com/question/50557962.html HOOK技术是Windows消息处理机制的一个平台,应用程序可以在上面设置子程序以监视指定窗口的某种消息,而且所监视的窗口可以是其他进程所创建的。当消息到达后,在目标窗口处理函数之前处理它。钩子机制允许应 阅读全文
posted @ 2019-07-23 10:39 交流_QQ_2240410488 阅读(274) 评论(0) 推荐(0) 编辑
摘要:import tensorflow as tf #查看显卡编号映射 sess = tf.Session(config=tf.ConfigProto(log_device_placement=True)) 阅读全文
posted @ 2019-07-23 10:24 交流_QQ_2240410488 阅读(211) 评论(0) 推荐(0) 编辑
摘要:一、前言二、Google Colab特征三、开始使用3.1在谷歌云盘上创建文件夹3.2创建Colaboratory3.3创建完成四、设置GPU运行五、运行.py文件5.1安装必要库5.2 挂载云端硬盘5.3 安装Keras5.4 Hello Mnist!一、前言不知道大家是否为了寻找免费GPU服务器 阅读全文
posted @ 2019-07-22 22:08 交流_QQ_2240410488 阅读(1228) 评论(0) 推荐(0) 编辑
摘要:https://www.jianshu.com/p/2cf00bb9db34?utm_source=oschina-app 穷学生学习神经网络一定体会过“等待”的痛苦。。。 循环一次epoch急死人,但是有几十个上百个循环等着你! 你盯着屏幕看着进度条像蜗牛一样推进,真是恨铁不成钢,心想等日后发达了 阅读全文
posted @ 2019-07-22 21:59 交流_QQ_2240410488 阅读(1249) 评论(0) 推荐(0) 编辑
摘要:https://www.zhongxiaoping.cn/2018/12/01/%E4%BD%BF%E7%94%A8colab%E5%B9%B3%E5%8F%B0%E8%BF%9B%E8%A1%8C%E8%AE%AD%E7%BB%83/ 本文主要是讲述模型在借组谷歌硬盘使用colab实现后台运行,该 阅读全文
posted @ 2019-07-22 20:28 交流_QQ_2240410488 阅读(706) 评论(0) 推荐(0) 编辑
摘要:Google Colab简介 Google Colaboratory是谷歌开放的一款研究工具,主要用于机器学习的开发和研究。这款工具现在可以免费使用,但是不是永久免费暂时还不确定。Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用!GPU型号是Tesla K80!你可以在上 阅读全文
posted @ 2019-07-22 18:39 交流_QQ_2240410488 阅读(10222) 评论(0) 推荐(1) 编辑
摘要:简介Google Colaboratory是谷歌开放的云服务平台,提供免费的CPU、GPU和TPU服务器。 目前深度学习在图像和文本上的应用越来越多,不断有新的模型、新的算法获得更好的效果,然而,一方面对资源的要求越来越高,另一方面很多开源的模型在国内无法使用。例如,前段时间研究的图片风格快速转换中 阅读全文
posted @ 2019-07-22 18:28 交流_QQ_2240410488 阅读(3653) 评论(0) 推荐(1) 编辑
摘要:手把手教你搭建分布式集群,进入生产环境的TensorFlow 分布式TensorFlow简介 前一篇《分布式TensorFlow集群local server使用详解》我们介绍了分布式TensorFlow的基本概念,现在我们可以动手搭建一个真正的分布式TensorFlow集群。 分布式TensorFl 阅读全文
posted @ 2019-07-22 16:51 交流_QQ_2240410488 阅读(4783) 评论(0) 推荐(0) 编辑
摘要:通过local server理解分布式TensorFlow集群的应用与实现。 ​​简介 TensorFlow从0.8版本开始,支持分布式集群,并且自带了local server方便测试。 Local server和分布式服务的接口一样,我们将从local server入手,详细解读分布式机器学习集群 阅读全文
posted @ 2019-07-22 16:51 交流_QQ_2240410488 阅读(621) 评论(0) 推荐(0) 编辑
摘要:#禁用gpu版本TensorFlow,因为CUDA号码从0开始,这里直接让CUDA使用-1的GPU,自然就无法使用gpu了。 代码前面加入: import osos.environ["CUDA_VISIBLE_DEVICES"]="-1" import tensorflow as tfEnviron 阅读全文
posted @ 2019-07-22 14:40 交流_QQ_2240410488 阅读(3940) 评论(1) 推荐(0) 编辑
摘要:由于某些原因GPU版的TensorFlow运行起来会出现一些问题,比如内存溢出等情况。此时我们可以用CPU和系统内存来运行我们的程序。 代码如下: import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISI 阅读全文
posted @ 2019-07-22 14:36 交流_QQ_2240410488 阅读(1431) 评论(0) 推荐(0) 编辑
摘要:GPUtil是一个Python模块,使用nvidia-smi从NVIDA GPU获取GPU状态 一个Python模块,用于在Python中使用nvidia-smi以编程方式从NVIDA GPU获取GPU状态 GPUtil是一个Python模块,使用nvidia-smi从NVIDA GPU获取GPU状 阅读全文
posted @ 2019-07-22 14:25 交流_QQ_2240410488 阅读(1627) 评论(0) 推荐(0) 编辑
摘要:[root@localhost ~]# conda install samtools Solving environment: failed CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsingh 阅读全文
posted @ 2019-07-22 13:55 交流_QQ_2240410488 阅读(3295) 评论(0) 推荐(0) 编辑
摘要:https://www.jianshu.com/p/b2d53904dd37 源就是下载地址了,换到国内的源下载速度真的快了近10倍,这里都用了清华的源 pip 只要新建一个配置文件,写上路径就行了 win下文件路径:C:\Users\你的用户名\pip\pip.ini linux下文件路径:~/. 阅读全文
posted @ 2019-07-22 13:55 交流_QQ_2240410488 阅读(717) 评论(0) 推荐(0) 编辑
摘要:https://stackoverflow.com/questions/24955896/pycharm-indexing-goes-into-infinite-loop 5 1 I opened up a directory with PyCharm, and after it was done 阅读全文
posted @ 2019-07-22 13:41 交流_QQ_2240410488 阅读(196) 评论(0) 推荐(0) 编辑
摘要:我的python版本是3.6.4, Anaconda下载地址: Anaconda官网:https://repo.anaconda.com/archive/ 清华大学镜像站:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=N&O=D w 阅读全文
posted @ 2019-07-22 13:34 交流_QQ_2240410488 阅读(2148) 评论(0) 推荐(1) 编辑
摘要:查看已安装tensorflow版本 2017年08月07日 20:40:23 imperfect00 阅读数 187297更多 个人分类: tensorflow学习笔记 查看已安装tensorflow版本 2017年08月07日 20:40:23 imperfect00 阅读数 187297更多 个 阅读全文
posted @ 2019-07-22 12:51 交流_QQ_2240410488 阅读(1239) 评论(0) 推荐(0) 编辑
摘要:tensorflow-gpu验证准确率是报错如上: 解决办法: 1. 加入os.environ['CUDA_VISIBLE_DEVICES']='2' 强制使用CPU验证 慢 2.'batch_size', 降低为32,即可使用GPU跑 快 阅读全文
posted @ 2019-07-22 12:43 交流_QQ_2240410488 阅读(4985) 评论(0) 推荐(1) 编辑
摘要:https://www.cnblogs.com/yunguoxiaoqiao/p/7626992.html (注:本文部分内容摘自互联网,由于作者水平有限,不足之处,还望留言指正。) 中秋的夜,微凉,但却始终看不见月亮。 我想,它一定是害羞了,悄悄的躲到了乌云的后面。 嗯,就是这样,我真是太TM机智 阅读全文
posted @ 2019-07-22 10:53 交流_QQ_2240410488 阅读(244) 评论(0) 推荐(0) 编辑
摘要:三种常用的方式如果在运行python脚本时需要传入一些参数,例如gpus与batch_size,可以使用如下三种方式。 python script.py 0,1,2 10python script.py -gpus=0,1,2 --batch-size=10python script.py -gpu 阅读全文
posted @ 2019-07-22 09:04 交流_QQ_2240410488 阅读(2712) 评论(0) 推荐(0) 编辑
摘要:xxx.egg-info 一般与 xxx文件夹同时存在,一起来表示完整模块。 阅读全文
posted @ 2019-07-19 15:57 交流_QQ_2240410488 阅读(1860) 评论(0) 推荐(0) 编辑
摘要:https://kashgari-zh.bmio.net 阅读全文
posted @ 2019-07-19 10:09 交流_QQ_2240410488 阅读(351) 评论(0) 推荐(0) 编辑
摘要:import numpy as npnp.random.seed(1337) # for reproducibility from keras.models import Sequentialfrom keras.layers import Densefrom keras.models import 阅读全文
posted @ 2019-07-19 08:49 交流_QQ_2240410488 阅读(912) 评论(0) 推荐(0) 编辑
摘要:在Keras框架下训练深度学习模型时,一般思路是在训练环境下训练出模型,然后拿训练好的模型(即保存模型相应信息的文件)到生产环境下去部署。在训练过程中我们可能会遇到以下情况: 需要运行很长时间的程序在迭代到中间某一代时出现意外;人为地想停止训练过程,也许是为了用测试数据测试模型,然后从上一个检查点继 阅读全文
posted @ 2019-07-19 08:46 交流_QQ_2240410488 阅读(1849) 评论(0) 推荐(0) 编辑
摘要:众所周知,Python 是动态类型语言,运行时不需要指定变量类型。这一点是不会改变的,但是2015年9月创始人 Guido van Rossum 在 Python 3.5 引入了一个类型系统,允许开发者指定变量类型。它的主要作用是方便开发,供IDE 和各种开发工具使用,对代码运行不产生影响,运行时会 阅读全文
posted @ 2019-07-18 17:57 交流_QQ_2240410488 阅读(11756) 评论(1) 推荐(0) 编辑
摘要:在python3.7 环境下 函数声明时能在参数后加冒号,如图: 可能有疑问,python不是动态类型语言 ,难不成还能指定参数类型? 来看一下打印结果: 但同时也确实能传其他类型的值 如:f("test",123) 那结果如何呢? 如下: 当然会报错了啊,返回值是一个字符串,int型不能参与字符串 阅读全文
posted @ 2019-07-18 17:44 交流_QQ_2240410488 阅读(2576) 评论(0) 推荐(1) 编辑
摘要:1,前言 type hint 在pep484加入,我个人觉得这种类似于类型约束的(机制)有点违背了python简单、简洁的初衷,在慢慢向c# java 这种强类型语言看齐的节奏。 不过好在不强制使用,个人觉得依照规则编码也有点好处, 一方面,因为输入输出的类型进行定义的过程中,推动个人对输入输出进行 阅读全文
posted @ 2019-07-18 17:41 交流_QQ_2240410488 阅读(3304) 评论(0) 推荐(0) 编辑
摘要:pip install --target=d:\somewhere\other\than\the\default package_name 阅读全文
posted @ 2019-07-18 16:53 交流_QQ_2240410488 阅读(851) 评论(0) 推荐(0) 编辑
摘要:因为大家都知道的原因,在国内从github上面下载代码的速度峰值通常都是20kB/s。这种速度对于那些小项目还好,而对于大一些的并且带有很多子模块的项目来讲就跟耽误时间。而常见的的方法无非就是修改HOST或者挂VPN,实际用起来并不稳定。这里提供一种新的方法,下载速度可以达到 1~2MB/s 1. 阅读全文
posted @ 2019-07-18 15:45 交流_QQ_2240410488 阅读(537) 评论(0) 推荐(0) 编辑
摘要:获取github的IP地址访问:https://www.ipaddress.com/ 网址 依次获取以下三个网址的IP github.comgithub.global.ssl.fastly.netcodeload.github.com 这是我获取的IP 192.30.253.113 github.c 阅读全文
posted @ 2019-07-18 15:22 交流_QQ_2240410488 阅读(1796) 评论(0) 推荐(0) 编辑
摘要:报错描述- 代码逻辑大致是, 开启线程, 监听kafka生产者push的topic消息。- 问题出现在监听过程中, 线程在接收几条topic之后出现报错, 不再处理数据12报错代码Exception ignored in: <generator object _yield_value at 0x00 阅读全文
posted @ 2019-07-18 14:10 交流_QQ_2240410488 阅读(2177) 评论(0) 推荐(0) 编辑
摘要:BERT (Bidirectional Encoder Representations from Transformers) 10月11日,Google AI Language 发布了论文 BERT: Pre-training of Deep Bidirectional Transformers f 阅读全文
posted @ 2019-07-18 11:13 交流_QQ_2240410488 阅读(579) 评论(0) 推荐(0) 编辑
摘要:对数几率回归对数几率回归(logistic regression),又称为逻辑回归,虽然它的名字是“回归”,但实际却是一种分类学习方法,那为什么“回归”?个人觉得是因为它跟线性回归的公式有点关联。 对数几率函数是sigmoid函数。 1、模型线性回归:z=w∗x+b z = w*x+ bz=w∗x+ 阅读全文
posted @ 2019-07-17 23:19 交流_QQ_2240410488 阅读(1020) 评论(0) 推荐(0) 编辑
摘要:https://blog.csdn.net/cc1949/article/details/79744519 数学上有各种空间,概念容易混淆,为了记忆,整理出一张关系图。 目前不清楚无限维的内积空间是什么? 也欢迎各位补充其他的概念。 阅读全文
posted @ 2019-07-17 22:43 交流_QQ_2240410488 阅读(924) 评论(0) 推荐(0) 编辑
摘要:在数学中有许多空间表示,比如欧几里德空间、赋范空间、希尔伯特空间等。这些空间之间有什么关系呢? 首先要从距离的定义说起。 什么是距离呢?实际上距离除了我们经常用到的直线距离外,还有向量距离如Σni=1xi⋅yi−−−−−−−−√Σi=1nxi⋅yi, 函数距离如∫ba(f(x)−g(x))2dx∫a 阅读全文
posted @ 2019-07-17 22:42 交流_QQ_2240410488 阅读(694) 评论(0) 推荐(0) 编辑
摘要:大数据文摘与百度NLP联合出品 编译:张驰、毅航、Conrad、龙心尘 https://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=2651666707&idx=1&sn=2e9149ccdba746eaec687038ce560349&chksm=b 阅读全文
posted @ 2019-07-17 17:28 交流_QQ_2240410488 阅读(527) 评论(0) 推荐(0) 编辑
摘要:1 Transformer 模型结构处理自然语言序列的模型有 rnn, cnn(textcnn),但是现在介绍一种新的模型,transformer。与RNN不同的是,Transformer直接把一句话当做一个矩阵进行处理,要知道,RNN是把每一个字的Embedding Vector输入进行,隐层节点 阅读全文
posted @ 2019-07-17 17:27 交流_QQ_2240410488 阅读(728) 评论(0) 推荐(0) 编辑
摘要:1、预训练模型 BERT是一个预训练的模型,那么什么是预训练呢?举例子进行简单的介绍 假设已有A训练集,先用A对网络进行预训练,在A任务上学会网络参数,然后保存以备后用,当来一个新的任务B,采取相同的网络结构,网络参数初始化的时候可以加载A学习好的参数,其他的高层参数随机初始化,之后用B任务的训练数 阅读全文
posted @ 2019-07-17 16:51 交流_QQ_2240410488 阅读(3988) 评论(0) 推荐(0) 编辑
摘要:BERT-BiLSMT-CRF-NERTensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuningGitHub: https://github.com/macanv/BERT-BiLSTM-CR 阅读全文
posted @ 2019-07-17 16:38 交流_QQ_2240410488 阅读(4643) 评论(0) 推荐(0) 编辑
摘要:过年放了七天假,每年第一件事就是立一个flag——希望今年除了能够将技术学扎实之外,还希望能够将所学能够用来造福社会,好像flag立得有点大了。没关系,套用一句电影台词为自己开脱一下——人没有梦想,和咸鱼有什么区别。闲话至此,进入今天主题:Transformer。谷歌于2017年提出Transfor 阅读全文
posted @ 2019-07-17 16:12 交流_QQ_2240410488 阅读(1071) 评论(0) 推荐(0) 编辑
摘要:BERT 简介 BERT是2018年google 提出来的预训练的语言模型,并且它打破很多NLP领域的任务记录,其提出在nlp的领域具有重要意义。预训练的(pre-train)的语言模型通过无监督的学习掌握了很多自然语言的一些语法或者语义知识,之后在做下游的nlp任务时就会显得比较容易。BERT在做 阅读全文
posted @ 2019-07-17 16:11 交流_QQ_2240410488 阅读(811) 评论(0) 推荐(0) 编辑
摘要:自然语言处理在文本信息抽取、自动审校、智能问答、情感分析等场景下都有非常多的实际应用需求,在人工智能领域里有极为广泛的应用场景。然而在实际工程应用中,最经常面临的挑战是我们往往很难有大量高质量的标注语料。 “巧妇难为无米之炊”,在缺少语料的情况下,如何达到良好的NLP应用效果,是这些场景要落地所必须 阅读全文
posted @ 2019-07-17 15:42 交流_QQ_2240410488 阅读(630) 评论(0) 推荐(0) 编辑
摘要:2017年中,有两篇类似同时也是笔者非常欣赏的论文,分别是FaceBook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》,它们都算是Seq2Seq上的创新,本质上来说,都是抛弃了RNN 阅读全文
posted @ 2019-07-17 10:25 交流_QQ_2240410488 阅读(361) 评论(0) 推荐(0) 编辑
摘要:torch.max(input) → Tensor 返回输入tensor中所有元素的最大值 a = torch.randn(1, 3)>>0.4729 -0.2266 -0.2085 torch.max(a)>>0.4729 torch.max(input, dim, keepdim=False,  阅读全文
posted @ 2019-07-17 09:39 交流_QQ_2240410488 阅读(1071) 评论(0) 推荐(0) 编辑
摘要:一、unsqueeze()函数 1. 首先初始化一个a 可以看出a的维度为(2,3) 2. 在第二维增加一个维度,使其维度变为(2,1,3) 可以看出a的维度已经变为(2,1,3)了,同样如果需要在倒数第二个维度上增加一个维度,那么使用b.unsqueeze(-2) 二、squeeze()函数介绍 阅读全文
posted @ 2019-07-17 09:26 交流_QQ_2240410488 阅读(1104) 评论(0) 推荐(0) 编辑
摘要:可以调用的对象 关于 __call__ 方法,不得不先提到一个概念,就是可调用对象(callable),我们平时自定义的函数、内置函数和类都属于可调用对象,但凡是可以把一对括号()应用到某个对象身上都可称之为可调用对象,判断对象是否为可调用对象可以用函数 callable 如果在类中实现了 __ca 阅读全文
posted @ 2019-07-17 08:59 交流_QQ_2240410488 阅读(486) 评论(0) 推荐(0) 编辑
摘要:any 任何一个不为空字符 all 所有都是空字符 >>> any('123')True>>> any([0,1])True>>> any([0,'0',''])True>>> any([0,''])False>>> any([0,'','false'])True>>> any([0,'',bool 阅读全文
posted @ 2019-07-16 22:46 交流_QQ_2240410488 阅读(609) 评论(0) 推荐(0) 编辑
摘要:Pytorch 的多 GPU 处理接口是 torch.nn.DataParallel(module, device_ids),其中 module 参数是所要执行的模型,而 device_ids 则是指定并行的 GPU id 列表。 而其并行处理机制是,首先将模型加载到主 GPU 上,然后再将模型复制 阅读全文
posted @ 2019-07-16 22:16 交流_QQ_2240410488 阅读(549) 评论(0) 推荐(0) 编辑
摘要:参考:1. pytorch学习笔记(九):PyTorch结构介绍 2.pytorch学习笔记(七):pytorch hook 和 关于pytorch backward过程的理解 3.Pytorch入门学习(三):Neural Networks 4.forward 神经网络的典型处理如下所示: 1. 阅读全文
posted @ 2019-07-16 18:31 交流_QQ_2240410488 阅读(6076) 评论(0) 推荐(0) 编辑
摘要:forward方法的具体流程: 以一个Module为例:1. 调用module的call方法2. module的call里面调用module的forward方法3. forward里面如果碰到Module的子类,回到第1步,如果碰到的是Function的子类,继续往下4. 调用Function的ca 阅读全文
posted @ 2019-07-16 18:30 交流_QQ_2240410488 阅读(2443) 评论(0) 推荐(0) 编辑
摘要:前言 在数据越来越多的时代,随着模型规模参数的增多,以及数据量的不断提升,使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式,本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。 这里我们谈论的是单主机多GPUs训练,与分布式训 阅读全文
posted @ 2019-07-16 17:44 交流_QQ_2240410488 阅读(4854) 评论(0) 推荐(0) 编辑
摘要:第25章 Pytorch 如何高效使用GPU 深度学习涉及很多向量或多矩阵运算,如矩阵相乘、矩阵相加、矩阵-向量乘法等。深层模型的算法,如BP,Auto-Encoder,CNN等,都可以写成矩阵运算的形式,无须写成循环运算。然而,在单核CPU上执行时,矩阵运算会被展开成循环的形式,本质上还是串行执行 阅读全文
posted @ 2019-07-16 16:55 交流_QQ_2240410488 阅读(4956) 评论(0) 推荐(0) 编辑
摘要:pytorch如何使用GPU在本文中,我将介绍简单如何使用GPU pytorch是一个非常优秀的深度学习的框架,具有速度快,代码简洁,可读性强的优点。 我们使用pytorch做一个简单的回归。 首先准备数据 import numpy as npimport matplotlib.pyplot as 阅读全文
posted @ 2019-07-16 16:37 交流_QQ_2240410488 阅读(4382) 评论(0) 推荐(0) 编辑
摘要:描述 Python ljust() 方法返回一个原字符串左对齐,并使用空格填充至指定长度的新字符串。如果指定的长度小于原字符串的长度则返回原字符串。 语法 ljust()方法语法: str.ljust(width[, fillchar]) 参数 width -- 指定字符串长度。 fillchar 阅读全文
posted @ 2019-07-16 15:48 交流_QQ_2240410488 阅读(221) 评论(0) 推荐(0) 编辑
摘要:pytorch 中的 state_dict 是一个简单的python的字典对象,将每一层与它的对应参数建立映射关系.(如model的每一层的weights及偏置等等) (注意,只有那些参数可以训练的layer才会被保存到模型的state_dict中,如卷积层,线性层等等) 优化器对象Optimize 阅读全文
posted @ 2019-07-16 13:44 交流_QQ_2240410488 阅读(17737) 评论(0) 推荐(1) 编辑
摘要:上一节我们介绍了CRF的背景,本节开始进入CRF的正式的定义,简单来说条件随机场就是定义在隐马尔科夫过程的无向图模型,外加可观测符号X,这个X是整个可观测向量。而我们前面学习的HMM算法,默认可观测符号是独立的,但是根据我们的实际语言来说,独立性的假设太牵强,不符合我们的语言规则,因此在HMM的基础 阅读全文
posted @ 2019-07-15 23:24 交流_QQ_2240410488 阅读(3088) 评论(1) 推荐(0) 编辑
摘要:描述 reversed 函数返回一个反转的迭代器。 语法 以下是 reversed 的语法: 参数 seq -- 要转换的序列,可以是 tuple, string, list 或 range。 返回值 返回一个反转的迭代器。 实例 以下展示了使用 tuple 的实例: 实例 #!/usr/bin/e 阅读全文
posted @ 2019-07-15 23:04 交流_QQ_2240410488 阅读(1040) 评论(0) 推荐(0) 编辑
摘要:1.CRF的预测算法条件随机场的预测算法是给定条件随机场P(Y|X)和输入序列(观测序列)x,求条件概率最大的输出序列(标记序列)y*,即对观测序列进行标注。条件随机场的预测算法是著名的维特比算法(Vitebi Algorthim)。 维特比算法在隐马尔科夫模型的预测算法中已经详细介绍和Python 阅读全文
posted @ 2019-07-15 20:28 交流_QQ_2240410488 阅读(524) 评论(0) 推荐(0) 编辑
摘要:1.条件随机场概念CRF,Conditional Random Field,是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模式,其特点是假设输出随机变量构成马尔可夫随机场。 条件随机场用于不同的预测问题。CRF条件随机场是给定随机变量X时,随机变量Y的马尔可夫随机场。 有一种条件随机场 阅读全文
posted @ 2019-07-15 20:22 交流_QQ_2240410488 阅读(466) 评论(0) 推荐(0) 编辑
摘要:声明: 1,本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结,不得用作商用,欢迎转载,但请注明出处(即:本帖地址)。 2,由于本人在学习初始时有很多数学知识都已忘记,所以为了弄懂其中的内容查阅了很多资料,所以里面应该会有引用其他帖子的小部分内容,如果原作者看到可以私信我,我会将您的帖子 阅读全文
posted @ 2019-07-15 17:15 交流_QQ_2240410488 阅读(694) 评论(0) 推荐(0) 编辑
摘要:摘自:https://mp.weixin.qq.com/s/GXbFxlExDtjtQe-OPwfokA https://www.cnblogs.com/zhibei/p/9391014.html CRF(Conditional Random Field),即条件随机场。经常被用于序列标注,其中包括 阅读全文
posted @ 2019-07-15 17:04 交流_QQ_2240410488 阅读(1325) 评论(0) 推荐(0) 编辑
摘要:BiLSTM-CRF 被提出用于NER或者词性标注,效果比单纯的CRF或者lstm或者bilstm效果都要好。 根据pytorch官方指南(https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html#bi-lstm-condit 阅读全文
posted @ 2019-07-15 16:36 交流_QQ_2240410488 阅读(3465) 评论(0) 推荐(0) 编辑
摘要:cat是concatnate的意思:拼接,联系在一起。 先说cat( )的普通用法 如果我们有两个tensor是A和B,想把他们拼接在一起,需要如下操作: C = torch.cat( (A,B),0 ) #按维数0拼接(竖着拼) C = torch.cat( (A,B),1 ) #按维数1拼接(横 阅读全文
posted @ 2019-07-15 15:03 交流_QQ_2240410488 阅读(5673) 评论(0) 推荐(0) 编辑
摘要:上溢应该是想要表示的数超过了所能表示的最大值吧,下溢则应该是超过了最小值。这两个应该是带符号数的表示中的吧。 25 6 评论 分享 举报 上溢应该是想要表示的数超过了所能表示的最大值吧,下溢则应该是超过了最小值。这两个应该是带符号数的表示中的吧。 25 6 评论 分享 举报 上溢应该是想要表示的数超 阅读全文
posted @ 2019-07-15 14:44 交流_QQ_2240410488 阅读(1864) 评论(0) 推荐(0) 编辑
摘要:123456789101112lstm=nn.LSTM(input_size, hidden_size, num_layers)x seq_len, batch, input_sizeh0 num_layers× \times×num_directions, batch, hidden_sizec0 阅读全文
posted @ 2019-07-15 10:24 交流_QQ_2240410488 阅读(3526) 评论(0) 推荐(0) 编辑
摘要:目录 gather squeeze expand sum contiguous softmax max argmax gather torch.gather(input,dim,index,out=None)。对指定维进行索引。比如4*3的张量,对dim=1进行索引,那么index的取值范围就是0~ 阅读全文
posted @ 2019-07-14 21:52 交流_QQ_2240410488 阅读(450) 评论(0) 推荐(0) 编辑
摘要:相当于numpy中resize()的功能,但是用法可能不太一样。 我的理解是: 把原先tensor中的数据按照行优先的顺序排成一个一维的数据(这里应该是因为要求地址是连续存储的),然后按照参数组合成其他维度的tensor。比如说是不管你原先的数据是[[[1,2,3],[4,5,6]]]还是[1,2, 阅读全文
posted @ 2019-07-14 21:45 交流_QQ_2240410488 阅读(11425) 评论(0) 推荐(0) 编辑
摘要:好久没有写博客了,这一次就将最近看的pytorch 教程中的lstm+crf的一些心得与困惑记录下来。 原文 PyTorch Tutorials 参考了很多其他大神的博客,https://blog.csdn.net/cuihuijun1hao/article/details/79405740 htt 阅读全文
posted @ 2019-07-14 21:27 交流_QQ_2240410488 阅读(1692) 评论(0) 推荐(1) 编辑
摘要:久闻LSTM + CRF的效果强大,最近在看Pytorch官网文档的时候,看到了这段代码,前前后后查了很多资料,终于把代码弄懂了。我希望在后来人看这段代码的时候,直接就看我的博客就能完全弄懂这段代码。 看这个博客之前,我首先建议看看 Pytorch 关于Bi-LSTM + CRF的解释 看完再看看这 阅读全文
posted @ 2019-07-14 21:16 交流_QQ_2240410488 阅读(872) 评论(0) 推荐(0) 编辑
摘要:由于之前的草稿都没了,现在只有重写…. 我好痛苦 本章只是对pytorch的常规操作进行一个总结,大家看过有脑子里有印象就好,知道有这么个东西,需要的时候可以再去详细的看,另外也还是需要在实战中多运用。 本章导视图 Tensor attributes: 在tensor attributes中有三个类 阅读全文
posted @ 2019-07-14 20:58 交流_QQ_2240410488 阅读(732) 评论(0) 推荐(1) 编辑
摘要:做了一段时间的Sequence Labeling的工作,发现在NER任务上面,很多论文都采用LSTM-CRFs的结构。CRF在最后一层应用进来可以考虑到概率最大的最优label路径,可以提高指标。 一般的深度学习框架是没有CRF layer的,需要手动实现。最近在学习PyTorch,里面有一个Bi- 阅读全文
posted @ 2019-07-14 20:54 交流_QQ_2240410488 阅读(578) 评论(0) 推荐(0) 编辑
摘要:一. BILSTM + CRF介绍 https://www.jianshu.com/p/97cb3b6db573 1.介绍 基于神经网络的方法,在命名实体识别任务中非常流行和普遍。 如果你不知道Bi-LSTM和CRF是什么,你只需要记住他们分别是命名实体识别模型中的两个层。 1.1开始之前 我们假设 阅读全文
posted @ 2019-07-14 20:49 交流_QQ_2240410488 阅读(3175) 评论(1) 推荐(1) 编辑
摘要:在刷官方Tutorial的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解释也是云里雾里,于是在栈溢网看到了一篇解释,并做了几个实验才算完全理解了这个函数。首先可以把这个函数理解为类型转换函 阅读全文
posted @ 2019-07-14 18:00 交流_QQ_2240410488 阅读(2396) 评论(0) 推荐(0) 编辑
摘要:动态 VS 静态深度学习工具集 Pytorch 是一个 动态 神经网络工具包. 另一个动态工具包的例子是 Dynet (我之所以提这个是因为使用 Pytorch 和 Dynet 是十分类似的. 如果你看过 Dynet 中的例子, 那么它将有可能对你在 Pytorch 下实现它有帮助). 与动态相反的 阅读全文
posted @ 2019-07-14 17:27 交流_QQ_2240410488 阅读(669) 评论(0) 推荐(0) 编辑
摘要:pytorch实现BiLSTM+CRF用于NER(命名实体识别)在写这篇博客之前,我看了网上关于pytorch,BiLstm+CRF的实现,都是一个版本(对pytorch教程的翻译), 翻译得一点质量都没有,还有一些竟然说做得是词性标注,B,I,O是词性标注的tag吗?真是误人子弟。所以 自己打算写 阅读全文
posted @ 2019-07-14 17:22 交流_QQ_2240410488 阅读(3341) 评论(0) 推荐(0) 编辑
摘要:一、为什么RNN需要处理变长输入 假设我们有情感分析的例子,对每句话进行一个感情级别的分类,主体流程大概是下图所示: 思路比较简单,但是当我们进行batch个训练数据一起计算的时候,我们会遇到多个训练样例长度不同的情况,这样我们就会很自然的进行padding,将短句子padding为跟最长的句子一样 阅读全文
posted @ 2019-07-14 17:15 交流_QQ_2240410488 阅读(1869) 评论(0) 推荐(0) 编辑
摘要:输入数据格式:input(seq_len, batch, input_size)h0(num_layers * num_directions, batch, hidden_size)c0(num_layers * num_directions, batch, hidden_size) 输出数据格式: 阅读全文
posted @ 2019-07-14 17:11 交流_QQ_2240410488 阅读(7823) 评论(0) 推荐(0) 编辑
摘要:class torch.nn.LSTM(*args, **kwargs) 参数列表 input_size:x的特征维度 hidden_size:隐藏层的特征维度 num_layers:lstm隐层的层数,默认为1 bias:False则bih=0和bhh=0. 默认为True batch_first 阅读全文
posted @ 2019-07-14 16:49 交流_QQ_2240410488 阅读(349) 评论(0) 推荐(0) 编辑
摘要:在理解CRF的时候费了一些功夫,将一些难以理解的地方稍微做了下标注,隔三差五看看加强记忆, 代码是pytorch文档上的example 阅读全文
posted @ 2019-07-14 16:14 交流_QQ_2240410488 阅读(316) 评论(0) 推荐(0) 编辑
摘要:介绍关于空洞卷积的理论可以查看以下链接,这里我们不详细讲理论: 1.Long J, Shelhamer E, Darrell T, et al. Fully convolutional networks for semantic segmentation[C]. Computer Vision an 阅读全文
posted @ 2019-07-14 15:31 交流_QQ_2240410488 阅读(1723) 评论(0) 推荐(0) 编辑
摘要:目录 一 tf.contrib.layers中的具体函数介绍 1.tf.contrib.layers.conv2d()函数的定义如下: 2.tf.contrib.layers.max_pool2d()函数的定义如下: 3.tf.contrib.layers.avg_pool2d()函数定义 4.tf 阅读全文
posted @ 2019-07-14 15:29 交流_QQ_2240410488 阅读(676) 评论(0) 推荐(0) 编辑
摘要:最近在研究学习TensorFlow,在做识别手写数字的demo时,遇到了tf.nn.conv2d这个方法,查阅了官网的API 发现讲得比较简略,还是没理解。google了一下,参考了网上一些朋友写得博客,结合自己的理解,差不多整明白了。 方法定义tf.nn.conv2d (input, filter 阅读全文
posted @ 2019-07-14 15:17 交流_QQ_2240410488 阅读(2762) 评论(0) 推荐(0) 编辑
摘要:tf.expand_dims() 转载:https://blog.csdn.net/jasonzzj/article/details/60811035 TensorFlow中,想要维度增加一维,可以使用tf.expand_dims(input, dim, name=None)函数。当然,我们常用tf 阅读全文
posted @ 2019-07-14 15:10 交流_QQ_2240410488 阅读(581) 评论(0) 推荐(0) 编辑
摘要:继上文https://blog.csdn.net/weixin_42078618/article/details/82999906探讨了embedding层的降维效果,时隔一个月,分享一下嵌入层在NPL领域的巨大作用。 本文的发表建立在了解文本转向量(如one-hot)的用法的前提上。 首先,继续假 阅读全文
posted @ 2019-07-14 14:58 交流_QQ_2240410488 阅读(869) 评论(0) 推荐(0) 编辑
摘要:函数: tf.nn.embedding_lookup( params, ids, partition_strategy='mod', name=None, validate_indices=True, max_norm=None ) 参数说明: params: 表示完整的嵌入张量,或者除了第一维度之 阅读全文
posted @ 2019-07-14 14:55 交流_QQ_2240410488 阅读(819) 评论(0) 推荐(0) 编辑
摘要:1. tf.nn.embedding_lookup(W, X) W的维度为[len(vocabulary_list), 128], X的维度为[?, 8],组合后的维度为[?, 8, 128] 代码说明一下:即根据每一行X中的一个数,从W中取出对应行的128个数据,比如X[1, 3]个数据是3062 阅读全文
posted @ 2019-07-14 14:52 交流_QQ_2240410488 阅读(364) 评论(0) 推荐(0) 编辑
摘要:前言:最近做一个实验,遇到TensorFlow变量作用域问题,对tf.name_scope()、tf.variable_scope()等进行了较为深刻的比较,记录相关笔记:tf.name_scope()、tf.variable_scope()是两个作用域函数,一般与两个创建/调用变量的函数tf.va 阅读全文
posted @ 2019-07-14 14:46 交流_QQ_2240410488 阅读(1559) 评论(0) 推荐(0) 编辑
摘要:举例说明 TensorFlow中的变量一般就是模型的参数。当模型复杂的时候共享变量会无比复杂。 官网给了一个case,当创建两层卷积的过滤器时,每输入一次图片就会创建一次过滤器对应的变量,但是我们希望所有图片都共享同一过滤器变量,一共有4个变量:conv1_weights,conv1_biases, 阅读全文
posted @ 2019-07-14 14:43 交流_QQ_2240410488 阅读(387) 评论(0) 推荐(0) 编辑
摘要:tf.variable_scope(name_or_scope,default_name=None,values=None,initializer=None,regularizer=None,caching_device=None,partitioner=None,custom_getter=Non 阅读全文
posted @ 2019-07-14 14:38 交流_QQ_2240410488 阅读(790) 评论(0) 推荐(0) 编辑
摘要:最近在看TensorFlow的变量管理,发现很多代码中tf.variable_scope()参数的数量及意义还不太清楚,特此记录: def __init__(self, name_or_scope, default_name=None, values=None, initializer=None, 阅读全文
posted @ 2019-07-14 14:36 交流_QQ_2240410488 阅读(3061) 评论(0) 推荐(0) 编辑
摘要:tf.shapetf.shape( input, name=None, out_type=tf.int32)12345例如:将矩阵的维度输出为一个维度矩阵import tensorflow as tfimport numpy as np A = np.array([[[1, 1, 1], [2, 2 阅读全文
posted @ 2019-07-14 14:23 交流_QQ_2240410488 阅读(820) 评论(0) 推荐(0) 编辑
摘要:tf.cast()函数的作用是执行 tensorflow 中张量数据类型转换,比如读入的图片如果是int8类型的,一般在要在训练前把图像的数据格式转换为float32。 cast定义: cast(x, dtype, name=None)第一个参数 x: 待转换的数据(张量)第二个参数 dtype: 阅读全文
posted @ 2019-07-14 14:21 交流_QQ_2240410488 阅读(2076) 评论(0) 推荐(0) 编辑
摘要:1234567reduce_sum 是 tensor 内部求和的工具。其参数中: input_tensor 是要求和的 tensor axis 是要求和的 rank,如果为 none,则表示所有 rank 都要仇和 keep_dims 求和后是否要降维 这个操作的名称,可能在 graph 中 用 已 阅读全文
posted @ 2019-07-14 14:17 交流_QQ_2240410488 阅读(1841) 评论(0) 推荐(1) 编辑
摘要:转载链接:https://www.zhihu.com/question/51325408/answer/125426642来源:知乎 这个问题无外乎有三个难点: 什么是sum 什么是reduce 什么是维度(indices, 现在均改为了axis和numpy等包一致) sum很简单,就是求和,那么问 阅读全文
posted @ 2019-07-14 14:15 交流_QQ_2240410488 阅读(336) 评论(0) 推荐(0) 编辑
摘要:函数形式:tf.placeholder( dtype, shape=None, name=None)参数:dtype:数据类型。常用的是tf.float32,tf.float64等数值类型shape:数据形状。默认是None,就是一维值,也可以是多维(比如[2,3], [None, 3]表示列是3, 阅读全文
posted @ 2019-07-14 14:03 交流_QQ_2240410488 阅读(1672) 评论(0) 推荐(0) 编辑
摘要:CNN中最重要的就是参数了,包括W,b。 我们训练CNN的最终目的就是得到最好的参数,使得目标函数取得最小值。参数的初始化也同样重要,因此微调受到很多人的重视,那么tf提供了哪些初始化参数的方法呢,我们能不能自己进行初始化呢? 所有的初始化方法都定义在tensorflow/python/ops/in 阅读全文
posted @ 2019-07-14 13:59 交流_QQ_2240410488 阅读(5210) 评论(0) 推荐(2) 编辑
摘要:https://blog.csdn.net/yinruiyang94/article/details/78354257xavier_initializer( uniform=True, seed=None, dtype=tf.float32)12345该函数返回一个用于初始化权重的初始化程序 “Xa 阅读全文
posted @ 2019-07-14 13:54 交流_QQ_2240410488 阅读(4042) 评论(0) 推荐(0) 编辑
摘要:刷课过程中思考到Variable和Tensor之间的区别,尝试发现在如下代码中: a = tf.Variable(tf.ones(1)) b = tf.add(a,tf.ones(1)) 1 2 a是Variable,而b是Tensor。发现自己对Variable和Tensor之间的区分了解不多,所 阅读全文
posted @ 2019-07-14 13:52 交流_QQ_2240410488 阅读(539) 评论(0) 推荐(0) 编辑
摘要:1、概念剖析 相信很多从事linux后台开发工作的都接触过同步&异步、阻塞&非阻塞这样的概念,也相信都曾经产生过误解,比如认为同步就是阻塞、异步就是非阻塞,下面我们先剖析下这几个概念分别是什么含义。 同步:所谓同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回。也就是必须一件一件事做 阅读全文
posted @ 2019-07-14 12:09 交流_QQ_2240410488 阅读(321) 评论(0) 推荐(0) 编辑
摘要:一.安装目前用了tensorflow、deeplearning4j两个深度学习框架, tensorflow 之前一直支持到python 3.5,目前以更新到3.6,故安装最新版体验使用。 慢慢长征路:安装过程如下 WIN10: anaconda3.5: PYTHON3.6: tensorflow1. 阅读全文
posted @ 2019-07-14 11:30 交流_QQ_2240410488 阅读(1617) 评论(0) 推荐(0) 编辑
摘要:当我们训练自己的神经网络的时候,无一例外的就是都会加上一句 sess.run(tf.global_variables_initializer()) ,这行代码的官方解释是 初始化模型的参数。那么,它到底做了些什么? 一步步看源代码:(代码在后面) global_variables_initializ 阅读全文
posted @ 2019-07-14 11:28 交流_QQ_2240410488 阅读(1385) 评论(0) 推荐(0) 编辑
摘要:tensorflow ConfigPrototf.ConfigProto一般用在创建session的时候。用来对session进行参数配置 with tf.Session(config = tf.ConfigProto(...),...)1#tf.ConfigProto()的参数log_device 阅读全文
posted @ 2019-07-14 11:13 交流_QQ_2240410488 阅读(367) 评论(0) 推荐(0) 编辑
摘要:参考Tensorflow Machine Leanrning Cookbook tf.ConfigProto()主要的作用是配置tf.Session的运算方式,比如gpu运算或者cpu运算 具体代码如下: import tensorflow as tf session_config = tf.Con 阅读全文
posted @ 2019-07-14 11:03 交流_QQ_2240410488 阅读(2296) 评论(0) 推荐(0) 编辑
摘要:持续监控GPU使用情况命令: $ watch -n 10 nvidia-smi1一、指定使用某个显卡如果机器中有多块GPU,tensorflow会默认吃掉所有能用的显存, 如果实验室多人公用一台服务器,希望指定使用特定某块GPU。可以在文件开头加入如下代码: import osos.environ[ 阅读全文
posted @ 2019-07-13 00:24 交流_QQ_2240410488 阅读(4980) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示