2020年8月23日
minGPT的GeLU换成RELU45+55=100了
摘要： https://github.com/karpathy/minGPT新手不会调参各种换着玩的。最近一直在学习这个项目，偶然把GELU换成ReLU，在play_math上得到了100%正确率。也许是因为GELU更适合NLP？不过，换了后，也不能叫GPT了。GPT中用的是GELU 阅读全文
posted @ 2020-08-23 00:38 地表最强队队员 阅读(421) 评论(0) 推荐(0) 编辑