随笔分类 - Deep Learning
摘要：蒸馏神经网络取名为蒸馏（Distill），其实是一个非常形象的过程。 我们把数据结构信息和数据本身当作一个混合物，分布信息通过概率分布被分离出来。首先，T值很大，相当于用很高的温度将关键的分布信息从原有的数据中分离，之后在同样的温度下用新模型融合蒸馏出来的数据分布，最后恢复温度，让两者充分融合。这也
阅读全文
摘要：让TensorFlow们飞一会儿 前一篇文章说过了TensorFlow单机多卡情况下的分布式部署，毕竟，一台机器势单力薄，想叫兄弟们一起来算神经网络怎么办？我们这次来介绍一下多机多卡的分布式部署。 其实多机多卡分布式部署在我看来相较于单机多卡分布式更容易一些，因为一台机器下需要考虑我需要把给每个de
阅读全文
摘要：让TensorFlow飞一会儿 面对大型的深度神经网络训练工程，训练的时间非常重要。训练的时间长短依赖于计算处理器也就是GPU，然而单个GPU的计算能力有限，利用多个GPU进行分布式部署，同时完成一个训练任务是一个很好的办法。对于caffe来说，由于NCCL的存在，可以直接在slover中指定使用的
阅读全文
摘要：安装openpai请参考这篇 https://www.cnblogs.com/jins-note/p/9673883.html 首先准备两台服务器（必须为Ubuntu16.04 Server），一台作为master，一台作为worker（master和worker由我们自己指定）。每台服务器都必须要
阅读全文
摘要：介绍 不管是机器学习的老手，还是入门的新人，都应该装备上尽可能强大的算力。除此之外，还要压榨出硬件的所有潜力来加快模型训练。OpenPAI作为GPU管理的利器，不管是一块GPU，还是上千块GPU，都能够做好调度，帮助加速机器学习的模型训练过程。 关于什么是OpenPAI，请参考介绍视频：微软开源GP
阅读全文
摘要：OpenPAI：大规模人工智能集群管理平台 2018年5月22日，在微软举办的“新一代人工智能开放科研教育平台暨中国高校人工智能科研教育高峰论坛”上，微软亚洲研究院宣布，携手北京大学、中国科学技术大学、西安交通大学和浙江大学四所国内顶尖高校共建新一代人工智能开放科研教育平台，以推动中国人工智能领域科
阅读全文
摘要：本文将会简单介绍Kubernetes的核心概念。因为这些定义可以在Kubernetes的文档中找到，所以文章也会避免用大段的枯燥的文字介绍。相反，我们会使用一些图表（其中一些是动画）和示例来解释这些概念。我们发现一些概念（比如Service）如果没有图表的辅助就很难全面地理解。在合适的地方我们也会提
阅读全文
摘要：激活函数（relu，prelu，elu，+BN）对比on cifar10 可参考上一篇： 激活函数 ReLU、LReLU、PReLU、CReLU、ELU、SELU 的定义和区别 一．理论基础 1.1激活函数 1.2 elu论文（FAST AND ACCURATE DEEP NETWORK LEARN
阅读全文
摘要：激活函数 ReLU、LReLU、PReLU、CReLU、ELU、SELU 的定义和区别 ReLU tensorflow中：tf.nn.relu(features, name=None) LReLU (Leaky-ReLU) 其中ai是固定的。i表示不同的通道对应不同的ai. tensorflow中：
阅读全文
摘要：相关概念： 正交矩阵：若一个方阵其行与列皆为正交的单位向量，则该矩阵为正交矩阵，且该矩阵的转置和其逆相等。两个向量正交的意思是两个向量的内积为 0 正定矩阵：如果对于所有的非零实系数向量x ，都有 x'Ax>0，则称矩阵A 是正定的。正定矩阵的行列式必然大于 0， 所有特征值也必然 > 0。相对应的
阅读全文
摘要：前言： 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景
阅读全文
摘要：在研究的过程中，有时候会碰到很多有意思的图像处理算法，算法极具新意，并且能够产生非常有意思的结果。算法简介1、图像镶嵌图像镶嵌也叫图像混合（Image Blending）、图像剪接（Image Editing），是通过特定的图像处理方法将本来毫无关系的两幅图无缝剪辑到一起，并能够很好地融合两者之间的剪接处，产生以假乱真的效果，不信我们就来看看。上图左边的手和嘴巴在两幅不同的图中，只要给定一个模板，...
阅读全文
摘要：在实际过程中采用 Lucas-Kanade 光流算法跟踪运动物体特征点的时候，一个很明显的特点是LK算法（包括其他光流算法）不能计算“大运动”，加上金子塔的方法稍微好点。这是什么原因？查看LK算法的三个假设：1、亮度恒定；2、时间连续或者运动是“小运动”；3、空间一致；同一子图像的像素点有相同的运动。 1和3都相对好理解，对于2，换句话，可以将运动的变化看成是亮度对时间的导数。如果距离比较大，那么...
阅读全文
摘要：图像去噪是非常基础也是非常必要的研究，去噪常常在更高级的图像处理之前进行，是图像处理的基础。可惜的是，目前去噪算法并没有很好的解决方案，实际应用中，更多的是在效果和运算复杂度之间求得一个平衡，再一次验证了我老师的一句话： 所有的工程问题最后都是最优化问题。 好了，废话不多说，来看看效果比较好的去噪算
阅读全文
摘要：为了装TensorFlow 1.10 下面升级一下系统的软件环境 NVIDIA DRIVER NVIDIA DRIVER 去官网下载最新的linux驱动 http://www.nvidia.com/Download/index.aspx 直接运行会报错 sudo bash NVIDIA-Linux-
阅读全文
摘要：When training deep neural networks, it is often useful to reduce learning rate as the training progresses. This can be done by using pre-defined learn
阅读全文
摘要：前段时间，Wasserstein GAN以其精巧的理论分析、简单至极的算法实现、出色的实验效果，在GAN研究圈内掀起了一阵热潮（对WGAN不熟悉的读者，可以参考我之前写的介绍文章：令人拍案叫绝的Wasserstein GAN - 知乎专栏）。但是很多人（包括我们实验室的同学）到了上手跑实验的时候，却发现WGAN实际上没那么完美，反而存在着训练困难、收敛速度慢等问题。其实，WGAN的作者Marti...
阅读全文
摘要：在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？ 要知道自从2014年Ian Goodfellow提出以来，GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、生成样本缺乏多样性等...
阅读全文
摘要：模拟上帝之手的对抗博弈——GAN背后的数学原理 简介 深度学习的潜在优势就在于可以利用大规模具有层级结构的模型来表示相关数据所服从的概率密度。从深度学习的浪潮掀起至今，深度学习的最大成功在于判别式模型。判别式模型通常是将高维度的可感知的输入信号映射到类别标签。训练判别式模型得益于反向传播算法、dro
阅读全文
摘要：文章目录 [隐藏]1. 强化学习和深度学习结合2. Deep Q Network (DQN) 算法3. 后续发展3.1 Double DQN3.2 Prioritized Replay3.3 Dueling Network4. 总结强化学习系列系列文章 我们终于来到了深度强化学习。1. 强化学习和深度学习结合 机器学习=目标+表示+优化。目标层面的工作关心应该学习到什么样的模型...
阅读全文