2021年12月5日
预训练模型finetune使用思路
摘要： #项目使用了预训练的bert模型进行文本分类 ##先说一下总体思路： ####1.从官方的ckpt模型文件中加载模型，接一层全连接和激活函数，再接一层输出层即可，根据分类的类别选择输出层节点的个数。 ####2.构造模型后，冻结bert层，只训练后续接的分类层，保存模型，这一步可以不保存优化器状态， 阅读全文
posted @ 2021-12-05 12:16 ecnu_lxz 阅读(551) 评论(0) 推荐(0) 编辑