随笔分类 - 深度学习
摘要：第一篇是这个： https://zhuanlan.zhihu.com/p/32230623 在上面一篇文章已经讲了： https://www.cnblogs.com/charlesblc/p/15908598.html 接下来是这篇文章： https://zhuanlan.zhihu.com/p/3
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/32230623 深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。 我们换一个思路，用一个框架来梳理所有的优化算法，做
阅读全文
摘要：参考这篇文章： https://zhuanlan.zhihu.com/p/33173246 https://www.sohu.com/a/220228574_717210（这篇是上面的转载） 其中ICS问题参考这里： https://blog.csdn.net/sinat_33741547/arti
阅读全文
摘要：这篇文章还不错，有一些值得继续思考的地方。 《周志华教授：关于深度学习的一点思考》 https://mp.weixin.qq.com/s/DlJZII9yKtgskcjTBfZCtQ Hinton 等通过“逐层训练后联合微调”来缓解梯度消失，使人们看到训练深层神经网络是可能的，由此激发了后来的研究，
阅读全文
摘要：Focal Loss for Dense Object Detection 是ICCV2017的Best student paper,文章思路很简单但非常具有开拓性意义，效果也非常令人称赞。 GHM(gradient harmonizing mechanism) 发表于 “Gradient Harm
阅读全文
摘要：这些关于Transformer和Bert的文章不错，做一下记录： 《Transformer模型浅析》 https://zhuanlan.zhihu.com/p/74723305 文中引用了一篇国外的博客：https://jalammar.github.io/illustrated-transform
阅读全文
