摘要：
深度神经网络加速和压缩新进展 郑板桥在《赠君谋父子》一诗中曾写道， "删繁就简三秋树，领异标新二月花。" 这句诗讲的是，在画作最易流于枝蔓的兰竹时，要去掉其繁杂使之趋于简明如"三秋之树"；而针对不同的意境要有发散的引申，从而使每幅作品都如"二月之花"般新颖。 其实在人工智能领域，深度神经网络的设计， 阅读全文
2018年10月26日
摘要：
A Survey of Model Compression and Acceleration for Deep Neural Network时s 本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，论文对每一类方法的性能、相关应用、优势和缺陷等方 阅读全文
摘要：
CNN 模型压缩与加速算法综述 导语：卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战，CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。 前言 自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后，卷积神经网络（CNN）的热 阅读全文
摘要：
浅谈流形学习 总觉得即使是"浅谈"两个字，还是让这个标题有些过大了，更何况我自己也才刚刚接触这么一个领域。不过懒得想其他标题了，想起来要扯一下这个话题，也是因为和朋友聊起我自己最近在做的方向。Manifold Learning 或者仅仅 Manifold 本身通常就听起来颇有些深奥的感觉，不过如果并 阅读全文
摘要：
接着主要讲几个变分推断的例子，试图阐述清楚变分推断到底是如何应用的。首先是二元高斯分布的近似。我们假设二元高斯分布是可分解的，也就是两变量之间独立。二元高斯分布其中可分解形式为：我们想用q(z)去近似p(z)，用前面推导出来的(10.9)： 因为是求z1的分布，所以按(10.9)，我们在z2上求期望 阅读全文
摘要：
变分 概率推断的核心任务就是计算某分布下的的某个函数的期望，或者计算边缘概率分布，条件概率分布等等。EM算法就是计算对数似然函数在隐变量后验分布下的期望。这些任务往往需要积分或求和操作。但在很多情况下，计算这些东西往往不那么容易。首先，积分中涉及的分布可能有很复杂的形式，这样就无法直接得到解析解。其 阅读全文
摘要：
基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN,Faster R-CNN object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那 阅读全文
摘要：
模拟退火 爬山算法（Hill Climbing） 介绍模拟退火前，先介绍爬山算法。爬山算法是一种简单的贪心搜索算法，该算法每次从当前的解空中选择一个最优解作为当前解，直到达到一个局部最优解。 爬山算法实现很简单，其主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。如下图所示：假设C点为当前解， 阅读全文