limingqi - 博客园

Qwen2.5-3B 模型加速优化

摘要：对微调后的 Qwen2.5-3B 模型进行加速优化（如蒸馏、量化等），核心目标是在保持精度的前提下提升推理速度（降低延迟、提高吞吐量）。以下是经过实践验证的解决方案，涵盖知识蒸馏、量化、剪枝、结构优化等技术，并附具体实施思路：一、知识蒸馏：通过师生模型传递知识知识蒸馏是将大模型（教师）的 “知识阅读全文

posted @ 2025-08-13 16:35 limingqi 阅读(324) 评论(0) 推荐(0)

Qwen3-0.6B训练的奖励模型 VS Qwen3-Reranker-0.6B VS Qwen3-Embedding-0.6B

摘要： Qwen3-0.6B 系列的奖励模型、Reranker 和 Embedding 模型虽共享相同的 0.6B 参数基座（基于 Qwen3 的 Transformer 架构），但因任务目标不同，在模型结构、损失函数、输入输出形式和应用场景上存在显著差异，具体对比如下：一、核心任务目标与应用场景模型类阅读全文

posted @ 2025-08-09 09:11 limingqi 阅读(541) 评论(0) 推荐(0)

奖励模型worldPM VS 排序模型Qwen3-Reranker-0.6B

摘要：以下是 WorldPM（奖励模型）与 Qwen3-Reranker-0.6B（排序模型）的核心差异对比，聚焦模型设计与实践特性：一、核心目标与定位 WorldPM（奖励模型）专注于评估生成内容质量，为强化学习（RLHF）提供细粒度奖励信号，核心是对齐人类偏好（如回答相关性、安全性、事实性）。 Q 阅读全文

posted @ 2025-08-09 08:58 limingqi 阅读(124) 评论(0) 推荐(0)

HelpSteer2 与 StackExchange 谁是偏好建模的 “最佳拍档”？

摘要： 1.数据基础对比对比纬度StackExchangeHelpSteer2 数据来源基于 Stack Overflow、Server Fault 等多个问答社区的真实用户互动内容。主要来自客户支持场景（如企业客服对话、帮助中心问答），聚焦服务导向的交互数据。数据数量 500w+ 9k 内容主题阅读全文

posted @ 2025-07-30 12:03 limingqi 阅读(87) 评论(0) 推荐(0)

NDCG指标

摘要：一、开场：为什么需要 NDCG？—— 从 “排序结果的评估难题” 切入先抛问题引发共鸣：推荐系统、搜索引擎返回的结果，怎么判断 “排得好不好”？人工评估（如 “这个结果是否相关”）能直观判断，但面对成千上万的排序结果，效率极低，有没有自动化指标能精准衡量？引出 NDCG 的定位： NDCG（阅读全文

posted @ 2025-07-29 22:55 limingqi 阅读(760) 评论(0) 推荐(0)

ROUGE指标

摘要：一、开场：为什么需要 ROUGE？—— 从 “文本摘要的评估困境” 切入先抛问题引发共鸣：自动文本摘要模型生成的摘要，怎么判断它是否抓住了核心信息？人工评估（如专家打分）能判断 “是否全面、是否简洁”，但耗时且成本高，有没有自动化指标能替代？引出 ROUGE 的定位： ROUGE（Recal 阅读全文

posted @ 2025-07-29 22:50 limingqi 阅读(336) 评论(0) 推荐(0)

BLEU指标

摘要：关于 BLEU（Bilingual Evaluation Understudy）指标的技术分享，从 “是什么→为什么重要→怎么算→怎么用→有什么坑” 的逻辑展开，兼顾基础理解与实践价值。以下是具体分享框架和内容要点，结合案例和通俗解释，让听众（无论新手还是有经验者）都能快速掌握核心：一、为什么需要阅读全文

posted @ 2025-07-29 22:47 limingqi 阅读(958) 评论(0) 推荐(0)

数据分布差异鉴定指南

摘要：分析两个数据集（如 HelpSteer2 和 StackExchange）的分布差异性，需要从多个维度系统拆解它们在数据特征、内容属性、结构模式等方面的不同。一、基本统计特征分布从最基础的数值特征入手，反映数据集的 “规模” 和 “形态” 差异：样本数量与规模分布总样本量：两个数据集的样本总阅读全文

posted @ 2025-07-28 15:42 limingqi 阅读(165) 评论(0) 推荐(0)

模型“瘦身术”——模型量化

摘要：一、什么是模型量化？模型量化的核心是将模型中高精度的参数（如 32 位浮点数，FP32）转换为低精度格式（如 16 位浮点数 FP16、8 位整数 INT8，甚至 4 位 INT4、2 位 INT2 等）。高精度参数虽能保证模型精度，但占用内存 / 显存大、计算耗时，尤其在边缘设备（如手机、嵌入阅读全文

posted @ 2025-07-28 14:06 limingqi 阅读(275) 评论(0) 推荐(0)

3分钟看懂模型好坏，关键评估指标干货速递

摘要：评估模型性能需要结合模型类型（如分类 / 回归模型、生成式模型、大语言模型等）和业务目标（如准确率、效率、安全性等），选择针对性的指标。以下是不同场景下的核心评估指标，涵盖主流模型类型：一、传统机器学习模型（分类 / 回归 / 聚类） 1. 分类模型（如图像识别、垃圾邮件检测）核心指标：准确率阅读全文

posted @ 2025-07-28 10:51 limingqi 阅读(754) 评论(0) 推荐(0)