深度神经网络的初始化不应该只做一次

深度神经网络的初始化不应该只做一次

读完彩票假设和超级掩模，结合一些强化学习和传统模拟退火算法的经验，有所感悟。

BP过程只是在不断加强初始化时靠运气碰到的那些好的结构/权重组合，而那些可以被掩模删掉的路径呢？如果持续，渐进的再随机初始化，是否能挖掘出新的黑马呢？

自由经济的实践中，这个假设是成立的，会有持续的新公司诞生，其中的部分是适应时代的，会壮大。

 

再次大胆猜测，给模型权重周期性的引入一些再随机将大大改善参数利用率，规律满足：

在超级掩模论文中所述会被保留的权重，其引入的随机扰动小。

在超级掩模论文中所述会被遮蔽的权重，其引入的随机扰动大。

这个随机量的大小之间是连续的，特性服从模拟退火算法，兼顾创新与传统。

 

预期参数效率可以再提高一个数量级。

 

争取抽时间验证一下。