2020年3月16日
Feature map transfer in TinyBert/MobileBert
摘要： MobileBert: 自下而上的知识转移： 将 Bottleneck BERT-LARGE teacher 的知识传递给student。 先训练teacher，然后逐步从下网上训练student，要求它一层一层地模仿teacher。 知识转移的渐进过程分为L个阶段，其中L为层数。图2展示了渐进式知 阅读全文
posted @ 2020-03-16 13:10 山竹小果 阅读(985) 评论(2) 推荐(0) 编辑