caffe solver
solver文件通过整合网络的前向推断和反向梯度来更新参数降低loss。
caffe中solver的作用包括:
1.搭建优化日志,创建训练网络用来学习,创建测试网络用于评估(感觉类似于初始化)
2.通过循环调用前向和反向网络来更新优化参数
3.周期性评估测试网络
4.记录优化过程中model及solver的状态
在solver还能设置循环的次数,那么在每次循环中要做的事情包括:
1.调用前向网络计算输出和loss
2.调用反向网络计算梯度
3.根据solver中的优化方法,结合梯度更新参数
4.根据学习率、历史数据和方法根据solver状态
caffe中提供的solver优化方法包括:
可以在solver中选择type,若不设置则默认为SGD方法。