随笔分类 -  模型压缩

神经网络模型压缩
YSSNLP2022-推荐系统&量化压缩
摘要：推荐系统 阅读全文
posted @ 2022-05-29 11:13 topbookcc 阅读(35) 评论(0) 推荐(0) 编辑
模型压缩-轻量化Bert模型
摘要：bert之类的预训练模型在NLP各项任务上取得的效果是显著的，但是因为bert的模型参数多，推断速度慢等原因，导致bert在工业界上的应用很难普及，针对预训练模型做模型压缩是促进其在工业界应用的关键，今天介绍几篇轻量化bert模型—DistillBert, ALBERT。 一. DistillBer 阅读全文
posted @ 2022-04-20 11:40 topbookcc 阅读(385) 评论(0) 推荐(0) 编辑
矩阵分解
摘要：矩阵分解-Basic MF Basic MF是最基础的分解方式，将评分矩阵R分解为用户矩阵U和项目矩阵S， 通过不断的迭代训练使得U和S的乘积越来越接近真实矩阵，矩阵分解过程如图： 目标函数 预测值与真实值之间的差。采用梯度下降的方式迭代计算U和S，它们收敛时就是分解出来的矩阵。我们用损失函数来表示 阅读全文
posted @ 2021-11-07 15:57 topbookcc 阅读(359) 评论(0) 推荐(0) 编辑

/* 鼠标点击求赞文字特效 */
点击右上角即可分享
微信分享提示