神经网络训练时出现nan错误

现在一直在用TensorFlow训练CNN和LSTM神经网络，但是训练期间遇到了好多坑，现就遇到的各种坑做一下总结

1.问题一;训练CNN的时候出现nan

CNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手机并做特定动作，实验人员接收手机的加速度计数值并打上特定的动作标签。

在训练CNN网络时一共遇到两处坑，一是遇到在训练期间遇到nan错误，这个错误很常见。nan的错误多源于你的学习率设置的太大或者batchsize设置的太大，可以10倍10倍的减小学习率直到nan错误不出现。其实要弄明白nan错误怎么出现的才能真正的解决这个错误。

这个错误是因为logits输出太大变成INF，对这个取log就会在求梯度就会变成nan，nan是not a number 的缩写，表示不是一个有理数。所以除了调小学习率这个解决方案，另一个解决方案还可以给loss加正则化项。

2.问题二;在训练CNN的时候loss一直降不下去

我用普通的卷积核对数据做卷积，准确率保持在0.4左右不动了，loss也是到后面基本不降，各种调网络结构终于找到一种深度可分离卷积结构可以使准确率达到0.9左右。深度卷积与我们了解的普通卷积网络的不同点就是它只做单通道卷积，也就是一次卷积后各个通道的卷积结果不相加，各自独立做为一个featuremap。但是这种网络结构的神经元个数增长很快，所以它的训练会比普通卷积慢很多，对于通道数过多的数据并不是很适合，但是这种网络的鲁棒性很好。

其实我这里出现loss不降的原因我后来找到了，是因为我的数据里有错误，数据本身就含有了nan的数据，错误的数据导致网络无法收敛

3.问题三;训练LSTM网络循环出现nan的错误，一到特定的batch就出现nan

一出现这个问题我就意识到肯定是数据出了问题，后来把数据中的nan替换掉就正常了。因为我的数据加载完后是numpy格式的，替换只需要加一句train= np.nan_to_num(train)就可以了

对数据做一个这样的简单处理，普通卷积网也正常了，真是豁然开朗啊，不用深度卷积，只用普通卷积就可以达到0.96的准确率。

 

4.我后来把CNN和LSTM联合起来对动作识别，发现不对数据处理nan错误，网络仍然可以正常运行并达到0.97的准确率。证明我自己搭的这个网络结构有很好的鲁棒性。

 

总结：

通过以上遇到问题可以总结出导致nan问题的原因有如下三个：

1.梯度爆炸：观察log，注意每一轮迭代后的loss。loss随着每轮迭代越来越大，最终超过了浮点型表示的范围，就变成了NaN。

2.不当的损失函数：有时候损失层中loss的计算可能导致NaN的出现。比如，给InfogainLoss层（信息熵损失）输入没有归一化的值，使用带有bug的自定义损失层等等。观测训练产生的log时一开始并不能看到异常，loss也在逐步的降低，但突然之间NaN就出现了

3.错误的输入：输入中就含有NaN，每当学习的过程中碰到这个错误的输入，就会变成NaN。观察log的时候也许不能察觉任何异常，loss逐步的降低，但突然间就变成NaN了。