随笔分类 -  杂学

【杂学】Efficient Training for DiT
摘要：Diffusion Transformer 高效训练 阅读全文
posted @ 2025-04-01 16:54 KeanShi 阅读(255) 评论(0) 推荐(0)
【杂学】知识蒸馏原理解读
摘要：知识蒸馏技术（Knowledge Distillation，KD）原理解读 阅读全文
posted @ 2025-02-05 15:24 KeanShi 阅读(538) 评论(0) 推荐(0)
【杂学】大模型推理加速 —— KV-cache 技术
摘要：大模型推理加速技术 —— KV-cache 详细图解与公式推导 阅读全文
posted @ 2024-11-13 20:47 KeanShi 阅读(852) 评论(0) 推荐(0)
【杂学】先进的 NLP 技术 —— 旋转位置编码（Rotary Position Embedding，RoPE）
摘要：LLM 中的 位置编码（Positional Encoding, PE） 阅读全文
posted @ 2024-11-11 23:22 KeanShi 阅读(907) 评论(0) 推荐(0)