blcblc - 博客园

2026年1月13日

该文被密码保护。阅读全文

posted @ 2026-01-13 01:28 blcblc 阅读(0) 评论(0) 推荐(0)

zz ALiBi（Attention with Linear Biases）位置编码详解：LLM无需额外训练就能处理超长文本

摘要： https://zhuanlan.zhihu.com/p/656684326 alibi https://developer.aliyun.com/article/1694249 AI大模型位置编码详解 https://awesomeml.com/attention-with-linear-bias 阅读全文

posted @ 2026-01-13 01:27 blcblc 阅读(3) 评论(0) 推荐(0)

讲的跟屎一样 RoPE Rotary Position Embedding编码

该文被密码保护。阅读全文

posted @ 2026-01-13 01:15 blcblc 阅读(2) 评论(0) 推荐(0)

zz看几个系列吧，多模态llava和vllm

该文被密码保护。阅读全文

posted @ 2026-01-13 00:09 blcblc 阅读(0) 评论(0) 推荐(0)

2026年1月12日

zz一些量化的文章，一般

摘要： https://zhuanlan.zhihu.com/p/627436535 LLM(11)：大语言模型的模型量化(INT8/INT4)技术 https://mp.weixin.qq.com/s/rd9d5RLvvs_bFgq9VI6RqQ 大规模 Transformer 模型 8 比特矩阵乘简介阅读全文

posted @ 2026-01-12 23:03 blcblc 阅读(7) 评论(0) 推荐(0)

zzFlashAttention:加速计算,节省显存, IO感知的精确注意力

该文被密码保护。阅读全文

posted @ 2026-01-12 19:42 blcblc 阅读(0) 评论(0) 推荐(0)

zz文生图模型之Stable Diffusion

该文被密码保护。阅读全文

posted @ 2026-01-12 17:26 blcblc 阅读(0) 评论(0) 推荐(0)

zz实验了一个reshape的操作，不错

该文被密码保护。阅读全文

posted @ 2026-01-12 17:17 blcblc 阅读(0) 评论(0) 推荐(0)

DPO的一个例子zz

该文被密码保护。阅读全文