摘要：
深度神经网络加速和压缩新进展 郑板桥在《赠君谋父子》一诗中曾写道， "删繁就简三秋树，领异标新二月花。" 这句诗讲的是，在画作最易流于枝蔓的兰竹时，要去掉其繁杂使之趋于简明如"三秋之树"；而针对不同的意境要有发散的引申，从而使每幅作品都如"二月之花"般新颖。 其实在人工智能领域，深度神经网络的设计， 阅读全文
2018年10月26日
摘要：
A Survey of Model Compression and Acceleration for Deep Neural Network时s 本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，论文对每一类方法的性能、相关应用、优势和缺陷等方 阅读全文
摘要：
CNN 模型压缩与加速算法综述 导语：卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。 前言 自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后，卷积神经网络（CNN）的热 阅读全文
摘要：
浅谈流形学习 总觉得即使是"浅谈"两个字，还是让这个标题有些过大了，更何况我自己也才刚刚接触这么一个领域。不过懒得想其他标题了，想起来要扯一下这个话题，也是因为和朋友聊起我自己最近在做的方向。Manifold Learning 或者仅仅 Manifold 本身通常就听起来颇有些深奥的感觉，不过如果并 阅读全文
摘要：
接着主要讲几个变分推断的例子，试图阐述清楚变分推断到底是如何应用的。首先是二元高斯分布的近似。我们假设二元高斯分布是可分解的，也就是两变量之间独立。二元高斯分布其中可分解形式为：我们想用q(z)去近似p(z)，用前面推导出来的(10.9)： 因为是求z1的分布，所以按(10.9)，我们在z2上求期望 阅读全文
摘要：
变分 概率推断的核心任务就是计算某分布下的的某个函数的期望，或者计算边缘概率分布，条件概率分布等等。EM算法就是计算对数似然函数在隐变量后验分布下的期望。这些任务往往需要积分或求和操作。但在很多情况下，计算这些东西往往不那么容易。首先，积分中涉及的分布可能有很复杂的形式，这样就无法直接得到解析解。其 阅读全文
摘要：
基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN,Faster R-CNN object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那 阅读全文
摘要：
模拟退火 爬山算法（Hill Climbing） 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前的解空中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如下图所示：假设C点为当前解， 阅读全文
摘要：
粒子群算法 粒子群算法是在1995年由Eberhart博士和Kennedy博士一起提出的，它源于对鸟群捕食行为的研究。它的基本核心是利用群体中的个体对信息的共享从而使整个群体的运动在问题求解空间中产生从无序到有序的演化过程，从而获得问题的最优解。设想这么一个场景：一群鸟进行觅食，而远处有一片玉米地， 阅读全文
摘要：
同进化算法（进化算法是受生物进化机制启发而产生的一系列算法）和人工神经网络算法（神经网络是从信息处理角度对人脑的神经元网络系统进行了模拟的相关算法）一样，群智能优化算法也属于一种生物启发式方法，它们三者可以称为是人工智能领域的三驾马车（实际上除了上述三种算法还有一些智能算法应用也很广泛，比如模拟金属 阅读全文
摘要：
时间序列分析 最早的时间序列分析可以追溯到 7000 年前的古埃及。古埃及人把尼罗河涨落的情况逐天记录下来，从而构成一个时间序列。对这个时间序列长期的观察使他们发现尼罗河的涨落非常有规律，由于掌握了涨落的规律，古埃及的农业迅速发展。这种从观测序列得到直观规律的方法即为描述性分析方法。在时间序列分析方 阅读全文
摘要：
循环神经网络与LSTM网络 循环神经网络RNN 循环神经网络广泛地应用在序列数据上面，如自然语言，语音和其他的序列数据上。序列数据是有很强的次序关系，比如自然语言。通过深度学习关于序列数据的算法要比两年前的算法有了很大的提升。由此诞生了很多有趣的应用，比如语音识别，音乐合成，聊天机器人，机器翻译，自 阅读全文
摘要：
随机森林 个体与集成 通过聚集多个分类器的预测来提高分类准确率，这些技术称为组合（ensemble）或者分类器组合（classifier combination）方法。组合方法由训练数据构建一组基分类器（base classifier）,然后通过对每个基分类器的预测进行投票来进行分类。 考虑一个简单 阅读全文
摘要：
神经网络及其实现 神经网络的表示 最小的神经网络 两层神经网络 在下图的表示中将参数b放到了中，每一层增加了一个值为1的隐藏单元 X为输入变量 为权重矩阵（所要计算的参数） 为隐藏层变量 g为激活函数 反向传播算法 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网 阅读全文
摘要：
论文《Piexel Recurrent Nerual Network》总结 论文：《Pixel Recurrent Nerual Network》 时间：2016 作者：Aaron van den Oord, Nal Kalchbrenner, Koray Kavukcuoglu 期刊：CCF A类 阅读全文
摘要：
为什么交叉熵可以用于计算代价函数 通用的说，熵(Entropy)被用于描述一个系统中的不确定性(the uncertainty of a system)。在不同领域熵有不同的解释，比如热力学的定义和信息论也不大相同。 要想明白交叉熵(Cross Entropy)的意义，可以从熵(Entropy) - 阅读全文
摘要：
神经网络的BP推导过程 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网络，该神经网络有三层神经元，对应的两个权重矩阵,为了计算梯度我们只需要计算两个偏导数即可： 首先计算第二个权重矩阵的偏导数，即 首先需要在之间建立联系，很容易可以看到的值取决于,而,而又是由取 阅读全文