会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
风雨中的小七
博客园
首页
新随笔
联系
订阅
管理
随笔 - 113
文章 - 0
评论 - 95
阅读 -
24万
2025年2月14日
解密prompt系列48. DeepSeek R1 & Kimi 1.5长思维链 - RL Scaling
摘要:
春节前DeepSeek R1和Kimi1.5炸翻天了,之前大家推测的O1的实现路径,多数都集中在MCTS推理优化,以及STaR等样本自优化方案等等,结果DeepSeek和Kiim直接出手揭示了reasoning的新路线不一定在SFT和Inference Scaling,也可以在RL。也算是Post Train阶段新的Scaling方向,几个核心Take Away包括
阅读全文
posted @ 2025-02-14 20:35 风雨中的小七
阅读(442)
评论(0)
推荐(0)
编辑
2025年1月22日
解密prompt系列47. O1 Long Thought的一些特征分析
摘要:
O1之后,思维链的一个简单但之前都没进入视野的特征引起了大家的注意,那就是思考的长度对推理效果的影响,更准确来说是通过哪些思考步骤来有效延长思维长度对推理的影响。这一章我们着重讨论思考长度
阅读全文
posted @ 2025-01-22 07:41 风雨中的小七
阅读(175)
评论(0)
推荐(0)
编辑
2025年1月4日
解密prompt系列46. LLM结构化输出代码示例和原理分析
摘要:
这一章我们先结合demo看下开源和闭源对结构化输出的支持,随后会介绍Constrained Decoding和Format Restricting Instructions 两种结构化输出约束方案,最后会给出结构化输出对比自然语言输出的一些观点。
阅读全文
posted @ 2025-01-04 11:07 风雨中的小七
阅读(288)
评论(0)
推荐(1)
编辑
2024年12月30日
解密Prompt45. 再探LLM Scalable Oversight -辩论、博弈哪家强
摘要:
以上两个方向相对正交分别从Verifier和Generator两个方去尝试解决Scalable Oversight的问题,今天再聊一个相对Hybrid的方向,通过Verifier和Generator相互博弈来同时提升双方实力。这里分别介绍Anthropic的辩论法,和OpenAI的博弈法
阅读全文
posted @ 2024-12-30 08:31 风雨中的小七
阅读(201)
评论(0)
推荐(0)
编辑
2024年12月14日
解密prompt系列44. RAG探索模式?深度思考模式?
摘要:
前一阵多步RAG的风吹入了工业界,kimi推出了探索版本,各应用都推出了深度搜索,You.COM更是早就有了Genius的多步模式。其实都是类似multi-hop RAG的实现
阅读全文
posted @ 2024-12-14 09:04 风雨中的小七
阅读(295)
评论(0)
推荐(0)
编辑
2024年11月25日
解密prompt系列43. LLM Self Critics
摘要:
在模型持续提升的道路上,只提升Generator能力是不够的,需要同步提升Supervisor、Verifier的能力,才能提供有效的监督优化信号。人类提供的监督信号有几类,包括人工直接生成最优回答
阅读全文
posted @ 2024-11-25 08:07 风雨中的小七
阅读(238)
评论(0)
推荐(0)
编辑
2024年11月15日
解密prompt系列42. LLM通往动态复杂思维链之路
摘要:
想要更优的Inference Time Scaling曲线,前提是模型本身是一个很强的Generator,已经拥有足够的生成合理推理过程的能力,同时还拥有很强的Verifier模型来对推理节点进行打分决策,并且二者可以在少人类监督的条件下不断迭代优化。这一章我们先聊聊如何让大模型"自学"推理思考,从而得到思考推理能力更强的Generator。
阅读全文
posted @ 2024-11-15 07:49 风雨中的小七
阅读(499)
评论(0)
推荐(0)
编辑
2024年10月27日
解密prompt系列41. GraphRAG真的是Silver Bullet?
摘要:
这一章我们介绍GraphRAG范式,Graph RAG虽好但并非RAG的Silver Bullet,它有特定适合的问题和场景,更适合作为RAG中的一路召回,用来解决实体密集,依赖全局关系的信息召回。所以这一章我们来聊聊GraphRAG的实现和具体解决哪些问题。
阅读全文
posted @ 2024-10-27 18:49 风雨中的小七
阅读(380)
评论(0)
推荐(0)
编辑
2024年10月11日
解密prompt系列40. LLM推理scaling Law
摘要:
OpenAI的O-1出现前,其实就有大佬开始分析后面OpenAI的技术路线,其中一个方向就是从Pretrain-scaling,Post-Train-scaling向Inference Scaling的转变,这一章我们挑3篇inference-scaling相关的论文来聊聊,前两篇分别从聚合策略和搜索策略来优化广度推理,最后一篇全面的分析了各类广度深度推理策略的最优使用方案。
阅读全文
posted @ 2024-10-11 21:10 风雨中的小七
阅读(522)
评论(0)
推荐(1)
编辑
2024年9月30日
解密prompt系列39. RAG之借助LLM优化精排环节
摘要:
RAG这一章我们集中看下精排的部分。粗排和精排的主要差异其实在于效率和效果的balance。粗排和精排的主要差异其实在于效率和效果的balance。粗排模型复杂度更低,需要承上启下,用较低复杂度的模型
阅读全文
posted @ 2024-09-30 08:23 风雨中的小七
阅读(507)
评论(0)
推荐(3)
编辑
下一页
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
我的标签
prompt
(48)
deep learning
(20)
Machine Learning
(11)
CausalInference
(10)
预训练模型
(9)
Embeddinig
(7)
NER
(6)
CTR
(6)
HTE
(5)
小样本
(5)
更多
合集
(7)
DecryptPrompt(48)
小样本利器(5)
预训练手册(9)
中文NER的那些事(7)
无所不能的Embedding(7)
CTR学习笔记(6)
因果推断(9)
随笔档案
(113)
2025年2月(1)
2025年1月(2)
2024年12月(2)
2024年11月(2)
2024年10月(2)
2024年9月(3)
2024年8月(2)
2024年7月(2)
2024年6月(2)
2024年5月(3)
2024年4月(1)
2024年3月(2)
2024年2月(1)
2024年1月(2)
2023年12月(2)
2023年11月(1)
2023年10月(3)
2023年9月(2)
2023年8月(1)
2023年7月(3)
2023年6月(2)
2023年5月(1)
2023年4月(2)
2023年3月(2)
2023年2月(2)
2023年1月(2)
2022年11月(1)
2022年10月(2)
2022年9月(1)
2022年8月(2)
2022年7月(1)
2022年6月(2)
2022年5月(1)
2022年3月(4)
2021年12月(1)
2021年11月(2)
2021年9月(1)
2021年8月(1)
2021年7月(1)
2021年5月(1)
2021年4月(1)
2021年2月(2)
2020年12月(1)
2020年11月(1)
2020年10月(1)
2020年9月(1)
2020年8月(1)
2020年6月(2)
2020年5月(2)
2020年4月(2)
2020年3月(3)
2020年2月(2)
2019年12月(1)
2019年11月(1)
2019年10月(4)
2019年7月(2)
2019年6月(1)
2019年2月(2)
2018年7月(2)
2018年6月(2)
2018年5月(1)
2018年4月(1)
2018年3月(2)
2018年2月(2)
2018年1月(2)
更多
阅读排行榜
1. 中文NER的那些事儿1. Bert-Bilstm-CRF基线模型详解&代码实现(21383)
2. AB实验的高端玩法系列1 - AB实验人群定向/个体效果差异/HTE/Uplift Model 论文github收藏(14627)
3. AB实验的高端玩法系列2 - 更敏感的AB实验, CUPED!(12157)
4. AB实验人群定向HTE模型4 - Double Machine Learning(11218)
5. AB实验人群定向HTE模型1 - Causal Tree(8990)
评论排行榜
1. 中文NER的那些事儿1. Bert-Bilstm-CRF基线模型详解&代码实现(15)
2. 中文NER的那些事儿3. SoftLexicon等词表增强详解&代码实现(12)
3. 中文NER的那些事儿4. 数据增强在NER的尝试(8)
4. 解密Prompt系列13. LLM Agent-指令微调方案: Toolformer & Gorilla(7)
5. AB实验的高端玩法系列4- 实验渗透低?用户未被触达?CACE/LATE(7)
推荐排行榜
1. 解密prompt系列39. RAG之借助LLM优化精排环节(3)
2. 中文NER的那些事儿3. SoftLexicon等词表增强详解&代码实现(3)
3. 打分排序系统漫谈3 - 贝叶斯更新/平均(3)
4. 解密Prompt系列17. LLM对齐方案再升级 WizardLM & BackTranslation & SELF-ALIGN(2)
5. 解密Prompt系列16. LLM对齐经验之数据越少越好?LTD & LIMA & AlpaGasus(2)
最新评论
1. Re:解密Prompt系列37. RAG之前置决策何时联网的多种策略
@Tom123123123 恩恩同意,所以下一张就是多agent路由了,rag联网只是agent路由的一个简化场景...
--风雨中的小七
2. Re:解密Prompt系列37. RAG之前置决策何时联网的多种策略
将RAG作为Agent的一个Tool,由模型来决定Tool的调用,后续还可以加计算器等等很多插件,单RAG的应用场景很窄
--Tom123123123
3. Re:解密prompt系列35. 标准化Prompt进行时! DSPy论文串烧和代码示例
@Tom123123123 我们是公司层申请的和个人申请不一样的...
--风雨中的小七
4. Re:解密prompt系列35. 标准化Prompt进行时! DSPy论文串烧和代码示例
作者您好,Azure的GPT4是怎么申请的啊,能写个教程吗
--Tom123123123
5. Re:解密prompt系列35. 标准化Prompt进行时! DSPy论文串烧和代码示例
@Hekk丶 感谢反馈找到问题了已经修复~...
--风雨中的小七
点击右上角即可分享