Loading

2023年3月15日
transformer 中的bert是如何初始化的
摘要： 动机：在看BertForMaskedLM 的实现代码时，发现在class init的时候有一个self.post_init() 函数，希望看一下它内部调用的哪个函数，以及如果我们自己定义了一些新的模型参数或者embedding怎么进行初始化？ 在代码里有两个init_weights 函数，分别是po 阅读全文
posted @ 2023-03-15 20:34 戴墨镜的长颈鹿 阅读(1689) 评论(0) 推荐(0) 编辑