摘要：
这个树叶分类比赛，难度不大，第一的同学准确率可以得到0.992。 沐神认为0.98已经是不错的了。 阅读全文
摘要：
编码器-解码器架构 encoder-decoder是一个框架，这是近几年影响比较大的对一个模型的抽象。 代码 encoder-decoder是一种编程接口，后面基本NLP都是使用这种编程接口来实现的。 阅读全文
摘要：
微调 fine tune 沐神：微调绝对是深度学习中一个非常重要的技术！整个深度学习为什么能够work，就是因为有微调。迁移学习（transfer learning） 在ImageNet上训练的模型，其实是可以为我所用的。 微调的核心思想就是在源数据集上（通常是比较大的数据集）训练的模型，我们可把做 阅读全文
摘要：
数据增广 数据增广的话就不局限于图片，对文本、语音等都可以进行增广，这里主要是针对图片的技术。 代码 简简单单一个左右翻转的图像增广，就可以有效缓解让cifar10的过拟合情况。 其实不要奇怪，在ImageNet上，如果数据增广做的比较狠的话，经常是可以看到test acc高于train acc的， 阅读全文
摘要：
分布式训练 其实分布式和单机多卡在逻辑上没有什么区别，只不过读数据之前从磁盘读取，现在换成了从网络读取；交换梯度之前通过内存处理，现在通过网络交换梯度。 下面是一个具体样例，看看分布式如何减少跨机器的通讯。 现在本机将梯度加起来，在进行发送。 这个就是epoch和batch_size有一个权衡... 阅读全文
摘要：
就是一个小批量的数据，如果你有4张卡，那么这个批量的数据就可以分成4份。比如有100个样本，那么每张卡拿到25个样本，然后去计算梯度，最后再把梯度加起来做更新，这个就是多GPU的训练。 从零实现 理论而言，并行计算得到的结果应该是一样的。 两次结果不一样是因为存在随机性，如果固定住随机种子，理论两次 阅读全文