blcblc - 博客园

2026年1月13日

zz试一下这个视觉注意力的代码

该文被密码保护。阅读全文

posted @ 2026-01-13 22:29 blcblc 阅读(0) 评论(0) 推荐(0)

zz大模型训练中的loss激增问题（loss spike、logits drift）

摘要： https://zhuanlan.zhihu.com/p/10927658580 大模型训练中的loss激增问题（loss spike、logits drift）阅读全文

posted @ 2026-01-13 22:04 blcblc 阅读(10) 评论(0) 推荐(0)

跟进这本书的进展吧

该文被密码保护。阅读全文

posted @ 2026-01-13 21:28 blcblc 阅读(0) 评论(0) 推荐(0)

几个CLIP和VLLM的网站，之后再看

该文被密码保护。阅读全文

posted @ 2026-01-13 19:48 blcblc 阅读(0) 评论(0) 推荐(0)

zz从 LLaVA 到 Qwen3-VL，解构多模态大模型的演进之路

摘要： https://zhuanlan.zhihu.com/p/1963658684765833212 多模态大模型主流架构介绍：从 LLaVA 到 Qwen3-VL，解构多模态大模型的演进之路阅读全文

posted @ 2026-01-13 18:59 blcblc 阅读(8) 评论(0) 推荐(0)

该文被密码保护。阅读全文

posted @ 2026-01-13 17:42 blcblc 阅读(0) 评论(0) 推荐(0)

zz FlashAttention V1 V2

该文被密码保护。阅读全文

posted @ 2026-01-13 17:40 blcblc 阅读(0) 评论(0) 推荐(0)

zz 对 softmax 和 cross-entropy 求导

该文被密码保护。阅读全文

posted @ 2026-01-13 16:58 blcblc 阅读(0) 评论(0) 推荐(0)

zz这个推理加速系列可以看看

该文被密码保护。阅读全文

posted @ 2026-01-13 15:39 blcblc 阅读(0) 评论(0) 推荐(0)

torch.float8_e4m3fn和 torch.float8_e5m2

摘要： https://zhuanlan.zhihu.com/p/699560595 使用FP8加速PyTorch训练的两种方法总结 https://zhuanlan.zhihu.com/p/1910049304422377356 E4M3 用于权重、E5M2 用于激活值 https://blog.csdn 阅读全文

posted @ 2026-01-13 15:32 blcblc 阅读(22) 评论(0) 推荐(0)