端侧AI模型优化

LeNet,第一个可商用的神经网络,仅有5个卷积层,51K参数量。

 

MIT的韩松老师在2015年提出了一些观测:预先训练好的AlexNet、VGGNet模型中,去掉大约90%的参数,它的精度还是无损的。因此韩松老师开始提出一些模型压缩的技术。

  • 模型蒸馏:去掉原始模型中的光流模块,帮助我们解决稳定性的问题
  • 神经元剪枝:降低视频生成器的计算复杂度
  • 算子优化:在不同的硬件上会有不同的最优算子和最优架构,我们用了AutoML的技术自动地选择最适合Atlas200的AI算子
  • 模型适配:包括多种风格迁移,例如梵高、毕加索等

 

posted @ 2023-06-27 15:53  wangssd  阅读(83)  评论(0编辑  收藏  举报