blcblc - 博客园

2026年1月21日

Adam和AdamW算法

该文被密码保护。阅读全文

posted @ 2026-01-21 19:11 blcblc 阅读(0) 评论(0) 推荐(0)

DeepSpeed和Megatron，并行训练，Zero

该文被密码保护。阅读全文

posted @ 2026-01-21 18:41 blcblc 阅读(0) 评论(0) 推荐(0)

混合精度训练

该文被密码保护。阅读全文

posted @ 2026-01-21 18:26 blcblc 阅读(0) 评论(0) 推荐(0)

大模型推理之 vLLM 和 SGLang

该文被密码保护。阅读全文

posted @ 2026-01-21 18:04 blcblc 阅读(0) 评论(0) 推荐(0)

学习unsloth的RL文档

该文被密码保护。阅读全文

posted @ 2026-01-21 17:15 blcblc 阅读(0) 评论(0) 推荐(0)

一文搞懂大模型文件存储格式新宠GGUF

摘要： https://zhuanlan.zhihu.com/p/848013326 一文搞懂大模型文件存储格式新宠GGUF 阅读全文

posted @ 2026-01-21 17:03 blcblc 阅读(2) 评论(0) 推荐(0)

这些微调代码要好好学习和复习一下

该文被密码保护。阅读全文

posted @ 2026-01-21 16:50 blcblc 阅读(0) 评论(0) 推荐(0)

复习一下PPO吧

摘要： https://zhuanlan.zhihu.com/p/614115887 Proximal Policy Optimization (PPO) 算法理解：从策略梯度开始阅读全文

posted @ 2026-01-21 16:44 blcblc 阅读(5) 评论(0) 推荐(0)

vllm部署，可以跑的代码

该文被密码保护。阅读全文

posted @ 2026-01-21 14:47 blcblc 阅读(0) 评论(0) 推荐(0)

摘要： https://zhuanlan.zhihu.com/p/697761176 AWQ量化 AWQ（激活感知权重量化）通过分析模型在校准数据上的激活值分布，识别显著权重并进行量化，从而优化模型性能。 AWQ的基本原理 AWQ量化技术的核心在于识别模型中不同权重的重要性，尤其是显著权重（salient 阅读全文

posted @ 2026-01-21 14:22 blcblc 阅读(6) 评论(0) 推荐(0)