随笔分类 - DeepLearning
摘要：1. Introduction 在CNN的计算过程中，各级存储层次（DRAM、on-chip global buffer、Regs）之间的数据传输很复杂，从功耗的观点来看，当前的CNN加速器是通信主导的，最小化通信是提高CNN加速器能效的关键。 最大化数据复用可以减少通信，数据复用依赖于卷积数据流，
阅读全文
摘要：1、摘要 当下神经网络架构设计主要以indirect metric，比如FLOPs，作为指导，但是direct metric，比如speed，也依赖于其他的因素，比如memory acccess cost，platform characters。因此，这篇文章不再局限于FLOPs的评估，而是在tar
阅读全文
摘要：1、Introduction （1）神经网络的几个优化方向：prune redundant connection, use low-precision or quantized weights, use more efficient architectures （2）神经网络中的redundancy
阅读全文
摘要：1、引言 主要创新： 1）complementary search techniques 2）new efficient versions of nonlinearities practical for mobile setting 3）new efficient network design 4）
阅读全文
摘要：1、数据增强 1）随机裁剪 在原始图片的每一边pad 4个 pixels，然后再裁切成32*32的图片 distorted_images = tf.image.resize_image_with_crop_or_pad(record_images, imageHeight+8, imageWidth
阅读全文
摘要：1、Introduction 1）网络深度很重要 Deep networks naturally integrate low/mid/highlevel features and classifiers in an end-to-end multilayer fashion, and the “le
阅读全文
摘要：1、结构对比 1）MobileNet-V1 2）ShuffleNet-V1 3）MobileNet-V2 4）ShuffleNet-V2
阅读全文
摘要：1、主要创新 1）提出了一种新的layer module：the inverted residual with linear bottleneck， 2）short connect被置于bottleneck层之间，比置于expanded层之间可以取得更好的效果 3）采用线性bottleneck层（即
阅读全文
摘要：参考博客：https://blog.csdn.net/program_developer/article/details/80867468
阅读全文
摘要：参考博客：https://blog.csdn.net/ZJRN1027/article/details/80199248 1、计算cost的过程 1）对神经网络的输出（logits）进行softmax，即概率归一化； 2）结合样本的标签labels计算交叉熵cross-entropy，作为loss；
阅读全文
摘要：摘抄自：https://blog.csdn.net/u011500062/article/details/51728830/ 1、实例 2、运行结果 3、解释 训练阶段，每经过checkpoint_steps 步保存一次变量，保存的文件夹为checkpoint_dir 测试阶段，ckpt.model
阅读全文
