年龄预测

'(0, 2)','(4, 6)','(8, 12)','(15, 20)','(25, 32)','(38, 43)','(48, 53)','(60, 100)'

卷积-relu-pooling-Local Response Normalization (LRN)层

 

卷积-relu-pooling-Local Response Normalization (LRN)层

 

卷积-relu-pooling-Local Response Normalization (LRN)层

 全连接-bn-relu-drop

 全连接-bn-relu-drop

 全连接-accuracy(测试)

全连接-softmaxwithloss(训练）

 

bn层要和scale层一起使用，bn层中的use_global_stats训练时候为true,测试时候为false

训练数据：1万1千多张，val 1千多张

加bn层的Log信息：训练时间9点40-13.12大约3个半小时，accuracy=0.812 loss=0.741,大约迭代1万2千 的时候到了accuracy=0.78

没加bn层的log信息：训练时间16点51-20点24大约3个半小时，accuracy=0.797 loss=0.913,大约迭代1万1千的时候到了accuracy=0.77

 

在第一个卷积层后面加了一个y=scale*x后，accuracy=0.77,loss=0.6766

caffe用自己的数据训练网络

1》resize数据到256*256大小，然后转换成lmdb格式

 

获取文件mean

2>>定义网络结果，trainbnadd.prototxt

3>>定义solver,solverbn.prototxt

 4>>训练

 

 

各种参数：

如果有两个lr_mult, 则第一个表示权值的学习率，第二个表示偏置项的学习率。一般偏置项的学习率是权值学习率的两倍

 

decay_mult 
权值衰减，为了避免模型的over-fitting，需要对cost function加入规范项。 

bn层要和scale层一起使用

bn层中use_global_stats: false在训练时候关，在测试时候开