2019年7月20日
预训练中Word2vec,ELMO,GPT与BERT对比
摘要： 预训练 先在某个任务（训练集A或者B）进行预先训练，即先在这个任务（训练集A或者B）学习网络参数，然后存起来以备后用。当我们在面临第三个任务时，网络可以采取相同的结构，在较浅的几层，网络参数可以直接加载训练集A或者B训练好的参数，其他高层仍然随机初始化。底层参数有两种方式： frozen ，即预训练 阅读全文
posted @ 2019-07-20 22:28 zhaop 阅读(4913) 评论(0) 推荐(0) 编辑