深度学习模型参数初始化的方法

(1)Gaussian 满足mean=0,std=1的高斯分布x∼N(mean,std2)

(2)Xavier 满足x∼U(−a,+a)x∼U(−a,+a)的均匀分布, 其中 a = sqrt(3/n)

(3)MSRA 满足x∼N(0,σ2)x∼N(0,σ2)的高斯分布,其中σ = sqrt(2/n)

(4)Uniform 满足min=0,max=1的均匀分布。x∼U(min,max)x∼U(min,max)

等等 

posted @ 2018-09-27 17:59  下路派出所  阅读(1972)  评论(0编辑  收藏  举报