记录:测试本机下使用 GPU 训练时不会导致内存溢出的最大参数数目
本机使用的 GPU 是 GeForce 840M,2G 显存,本机内存 8G。
试验时,使用 vgg 网络,调整 vgg 网络中的参数,使得使用对应的 batch_size 时不会提示内存溢出。使用的是 mnist 数据集,图片尺寸是28×28。结果如下:
# batch_size = 1
# 参数总数:5946134
# batch_size = 32
# 参数总数:5262436
# batch_size = 64
# 参数总数:4770788
# batch_size = 100
# 参数总数:4279140
所能接受的参数总数和 batch_size 有一定关系,但并不是成线性关系。模型训练时需要选择合适的网络参数和合适的 batch_size 大小,使得 GPU 能以最大速度进行训练。