clash verge模式说明与使用
摘要：
流量捕获、流量分发 TUN 模式/系统代理是流量捕获的“入口”，规则/全局/直连模式是流量路由的“出口”(发送数据：入口-clash-出口) clash流量捕获方式 TUN 模式 一种基于虚拟网络设备的模式，可以捕获所有网络流量并将其转发到 Clash。 它能够处理所有 TCP 和 UDP 流量，包 阅读全文
MoE
摘要：
参考： 文章 https://www.zhihu.com/tardis/bd/ans/3364787819 MoE优点： 训练速度更快，效果更好 相同参数，推理成本低 扩展性好 多任务学习能力 缺点： 训练稳定性差，需设计特别的损失函数 路由机制会增加通信的成本 模型复杂度高 稀疏性会导致过拟合 如 阅读全文
RoPE 旋转位置编码
摘要：
参考： 文章 https://blog.csdn.net/weixin_43646592/article/details/130924280 视频 https://www.bilibili.com/video/BV12x42127Pb?spm_id_from=333.788.videopod.sec 阅读全文
KV cache优化的发展过程：MHA、MQA、GQA、MLA
摘要：
参考： 文章 https://kexue.fm/archives/10091 视频 https://www.bilibili.com/video/BV1U9zBYZEg9/?spm_id_from=333.337.search-card.all.click&vd_source=da862fa7a21 阅读全文
