2024年6月11日
Transformer的知识在哪里：从FFN出发
摘要： 前情提要： 前阵子，或许更早之前，笔者关于 MoE 的一些研究——如果称得上是研究，而非民科的话——让人不禁思考 Transformer 的知识到底存在哪里？这个问题的价值不言而喻，用来打发时间也是个不错的选择。 可惜的是，目前我关于它的思考仍旧十分细碎，或许也称不上有什么新意，这里只是做下暂且的梳 阅读全文
posted @ 2024-06-11 14:41 ysngki 阅读(53) 评论(0) 推荐(0) 编辑