blcblc - 博客园

2026年1月13日

LLaVA系列

该文被密码保护。阅读全文

posted @ 2026-01-13 17:42 blcblc 阅读(0) 评论(0) 推荐(0)

zz FlashAttention V1 V2

该文被密码保护。阅读全文

posted @ 2026-01-13 17:40 blcblc 阅读(0) 评论(0) 推荐(0)

zz 对 softmax 和 cross-entropy 求导

该文被密码保护。阅读全文

posted @ 2026-01-13 16:58 blcblc 阅读(0) 评论(0) 推荐(0)

zz这个推理加速系列可以看看

该文被密码保护。阅读全文

posted @ 2026-01-13 15:39 blcblc 阅读(0) 评论(0) 推荐(0)

torch.float8_e4m3fn和 torch.float8_e5m2

摘要： https://zhuanlan.zhihu.com/p/699560595 使用FP8加速PyTorch训练的两种方法总结 https://zhuanlan.zhihu.com/p/1910049304422377356 E4M3 用于权重、E5M2 用于激活值 https://blog.csdn 阅读全文

posted @ 2026-01-13 15:32 blcblc 阅读(16) 评论(0) 推荐(0)

zz基于bitsandbytes的大模型量化的底层逻辑与实战

摘要： https://zhuanlan.zhihu.com/p/1926404665517536405 显存减半，性能不减：基于bitsandbytes的大模型量化的底层逻辑与实战里面有一些代码，勉强能跑起来这篇参考： https://zhuanlan.zhihu.com/p/665601576 阅读全文

posted @ 2026-01-13 14:56 blcblc 阅读(2) 评论(0) 推荐(0)

zz一文理解 GPU 张量核心（Tensor Core）

摘要： https://zhuanlan.zhihu.com/p/700873851 一文理解 GPU 张量核心（Tensor Core）建议在支持 8-bit 张量核心的 NVIDIA GPU（Turing、Ampere 及更新架构，如 T4、RTX 20/30/40、A100 等）上运行。阅读全文

posted @ 2026-01-13 14:03 blcblc 阅读(4) 评论(0) 推荐(0)

zz这篇QLoRA还是写的不错的，里面主要内容是量化

摘要： https://zhuanlan.zhihu.com/p/666234324 QLoRA（Quantized LoRA）详解阅读全文

posted @ 2026-01-13 13:35 blcblc 阅读(5) 评论(0) 推荐(0)

结合这两篇，终于把非对称量化的代码搞懂了，第二个写的太绕了

摘要： https://blog.csdn.net/weixin_45116099/article/details/136682407 https://developer.aliyun.com/article/1053404 阅读全文

posted @ 2026-01-13 12:28 blcblc 阅读(4) 评论(0) 推荐(0)

zz这个系列可以看看，作为面试复习

该文被密码保护。阅读全文

posted @ 2026-01-13 01:28 blcblc 阅读(0) 评论(0) 推荐(0)

笨鸟居士的博客

公告