2022年4月23日
知识蒸馏原理及BERT蒸馏实战
摘要： 恢复内容开始 恢复内容开始 首发于https://zhuanlan.zhihu.com/p/503739300 前言 本文主要介绍知识蒸馏原理，并以BERT为例，介绍两篇BERT蒸馏论文及代码，第一篇论文是在下游任务中使用BiLSTM对BERT蒸馏，第二篇是对Transformer蒸馏，即TinyB 阅读全文
posted @ 2022-04-23 21:44 zhaop 阅读(1272) 评论(0) 推荐(0) 编辑