2022年2月8日
使用DistilBERT 蒸馏类 BERT 模型的代码实现
摘要： 机器学习模型已经变得越来越大，即使使用经过训练的模型当硬件不符合模型对它应该运行的期望时，推理的时间和内存成本也会飙升。为了缓解这个问题是使用蒸馏可以将网络缩小到合理的大小，同时最大限度地减少性能损失。 我们在以前的文章中介绍过 DistilBERT [1] 如何引入一种简单而有效的蒸馏技术，该技术 阅读全文
posted @ 2022-02-08 10:46 deephub 阅读(155) 评论(0) 推荐(0) 编辑