随笔分类 -  机器学习

PyTorch中scatter和gather的用法
摘要：PyTorch中scatter和gather的用法 闲扯 许久没有更新博客了，2019年总体上看是荒废的，没有做出什么东西，明年春天就要开始准备实习了，虽然不找算法岗的工作，但是还是准备在2019年的最后一个半月认真整理一下自己学习的机器学习和深度学习的知识。 scatter的用法 scatter中 阅读全文
posted @ 2019-11-17 11:21 技术流选手 阅读(4890) 评论(0) 推荐(2)
xavier，kaiming初始化中的fan_in,fan_out在卷积神经网络是什么意思
摘要：xavier xavier初始化出自论文Understanding the difficulty of training deep feedforward neural network,论文讨论的是全连接神经网络，fan_in指第i层神经元个数，fan_out指第i+1层神经元个数，但是我们的卷积神 阅读全文
posted @ 2018-12-09 19:39 技术流选手 阅读(5819) 评论(0) 推荐(0)
pytorch代码中同时包含训练和测试代码时显存爆炸
摘要：原因在于没有使用torch.no_grad()函数。在查看验证集和测试集表现时，应使用类似这样的代码 阅读全文
posted @ 2018-12-02 13:01 技术流选手 阅读(1845) 评论(0) 推荐(1)
关于反卷积为什么有效的一些思考
摘要：Visualizing and Understanding Convolution Networks论文思考记录 序言 Fully convolution network for semantic segmentation以及Learning Deconvolution network for se 阅读全文
posted @ 2018-08-23 19:44 技术流选手 阅读(4138) 评论(0) 推荐(0)
理解为什么要将全连接层转化为卷积层
摘要：理解为什么要将全连接层转化为卷积层 1.全连接层可以视作一种特殊的卷积 考虑下面两种情况： 1. 特征图和全连接层相连，AlexNet经过五次池化后得到7\ 7\ 512的特征图，下一层全连接连向4096个神经元，这个过程可以看做有4096个7\ 7\ 512的卷积核和7\ 7\ 512的特征图进行 阅读全文
posted @ 2018-07-23 21:11 技术流选手 阅读(14711) 评论(7) 推荐(6)
理解官方教程中卷积神经网络部分
摘要：``` import tensorflow.examples.tutorials.mnist.input_data as input_data import tensorflow as tf import numpy as np def weight_variable(in_shape): # 截断正态分布,保证initial中元素的范围在0附近 initial = tf.tr... 阅读全文
posted @ 2018-07-21 21:31 技术流选手 阅读(293) 评论(0) 推荐(0)
tensorflow编程模式的理解
摘要：1.MNIST数据库下载好后，在tensorflow/examples/tutorials/mnist/下建立文件夹MNIST_data即可运行本程序 2.关键在与理解Operation，Tensor，Graph，只有执行session.run()时操作才真正执行 阅读全文
posted @ 2018-07-21 13:49 技术流选手 阅读(329) 评论(0) 推荐(0)
使用C++解析MNIST数据库
摘要：遇到的几个大坑 1.官方主页给出了每个文件的字节数是个玄幻数据，training set images (9912422 bytes) ，这个字节数是解压前的，解压后字节数应该为47,040,016，这个数等于4 + 4 + 4 + 4 + 60000 28 28。 2.windows下的fgetc 阅读全文
posted @ 2018-07-16 22:07 技术流选手 阅读(1124) 评论(4) 推荐(0)