摘要：
http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture10.pdf 1. 分类 one - many: one 可能是Image，输出的many可能是sequence of words many - one: 可以是情感分析 sequen 阅读全文
摘要：
1.ResNet+Inception 有着最高的Accuracy 2.VGG最占内存，最多的操作数 3. GoogleNet最efficient ， 这里的效率怎么计算的? 4.AlexNet 最少的操作数，但内存大，accuracy低 5. Resnet 效率适中，accuracy最高 6. VG 阅读全文
摘要：
ResNet 其他不带残差的网络（plain-CNN）中： 56层的网络比20层的网络，无论是trainning set 还是test set都要表现差 问题： 1) 优化问题，梯度在传播过程中出现梯度消失，或者梯度爆炸 2） weight_matrix_decay 1. Batch Normali 阅读全文
摘要：
1. 22层神经网络，一层inception算两层 2. 使用了高效的inception结构 3.没有全连接层 4.只有5millon参数，比AlexNet的60M，VGG16的138M Inception Module 的好处： 解释1：在直观感觉上在多个尺度上同时进行卷积，能提取到不同尺度的特征 阅读全文
摘要：
Conv层 Only 3x3 CONV stride 1, pad 1 and 2x2 MAX POOL stride 2，使得网络deeper,更多non-linearities，更少的parameters VGG16在forward计算中，对单个图片需要存储 96MB，有136Million的参 阅读全文
摘要：
以VGG-16为例，对224x224x3的输入，最后一层卷积可得输出为7x7x512，如后层是一层含4096个神经元的FC，则可用卷积核为7x7x512x4096的全局卷积来实现这一全连接运算过程，其中该卷积核参数如下： “filter size = 7, padding = 0, stride = 阅读全文
摘要：
AlexNet 结构： Conv，pooling，Normalization，Conv，pooling，Normalization，Conv，Conv，Conv，Pool，FC，FC，FC Conv层： 输入 227*227*3 ， 96个11*11*3的filter，步长=4，pad=4，边长 = 阅读全文
摘要：
PyTorch的三个抽象层次 Tensor： 可以认为是 可以运行在GPU上的 numpy的array 通过 dtype = torch.cuda.FloatTensor x = torch.randn(N,D_in).type(dtype) 使得在GPU上运行。 Variable: Node in 阅读全文
摘要：
trouble: 我们把w1,w2放在session里会面临，每一步我们都会copy weights 在CPU/GPU之间，这样会导致运行非常缓慢 所以把w1,w2放入graph里，避免这种copy 提问： 为什么不把输入与labels： x,y 也放入graph 答： 在实际中，输入是mini-b 阅读全文
摘要：
选择使用深度学习框架的原因： 1. 随着网络的更加复杂，深度学习的计算图我们越来越难画出来了，框架能简单的画出来 2. 框架能帮助我们算梯度 3. 框架帮助我们合理利用GPU 我们不用考虑写cuda代码或者cuDNN cuBLAS 使用numpy写forward and backward: 1. 只 阅读全文