2018年6月3日
leetcode 643. Maximum Average Subarray I
摘要： Given an array consisting of n integers, find the contiguous subarray of given length k that has the maximum average value. And you need to output the 阅读全文
posted @ 2018-06-03 23:26 bonelee 阅读(287) 评论(0) 推荐(0) 编辑
leetcode 38. Count and Say
摘要： The count-and-say sequence is the sequence of integers with the first five terms as following: 1 is read off as "one 1" or 11. 11 is read off as "two 阅读全文
posted @ 2018-06-03 23:12 bonelee 阅读(208) 评论(0) 推荐(0) 编辑
太深了，梯度传不下去，于是有了highway。 干脆连highway的参数都不要，直接变残差，于是有了ResNet。 强行稳定参数的均值和方差，于是有了BatchNorm。RNN梯度不稳定，于是加几个通路和门控，于是有了LSTM。 LSTM简化一下，有了GRU。
摘要： 请简述神经网络的发展史sigmoid会饱和，造成梯度消失。于是有了ReLU。ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。太深了，梯度传不下去，于是有了highway。干脆连highway的参数都不要，直接 阅读全文
posted @ 2018-06-03 17:13 bonelee 阅读(929) 评论(0) 推荐(0) 编辑