端侧AI模型优化
LeNet,第一个可商用的神经网络,仅有5个卷积层,51K参数量。
MIT的韩松老师在2015年提出了一些观测:预先训练好的AlexNet、VGGNet模型中,去掉大约90%的参数,它的精度还是无损的。因此韩松老师开始提出一些模型压缩的技术。
- 模型蒸馏:去掉原始模型中的光流模块,帮助我们解决稳定性的问题
- 神经元剪枝:降低视频生成器的计算复杂度
- 算子优化:在不同的硬件上会有不同的最优算子和最优架构,我们用了AutoML的技术自动地选择最适合Atlas200的AI算子
- 模型适配:包括多种风格迁移,例如梵高、毕加索等