会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
风雨中的小七
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
···
11
下一页
2024年3月25日
解密prompt系列25. RLHF改良方案之样本标注:RLAIF & SALMON
摘要:
之前我们主要唠了RLHF训练相关的方案,这一章我们主要针对RLHF的样本构建阶段,引入机器标注来降低人工标注的成本。主要介绍两个方案:RLAIF,和IBM的SALMON
阅读全文
posted @ 2024-03-25 08:37 风雨中的小七
阅读(205)
评论(0)
推荐(0)
编辑
2024年3月10日
解密prompt系列26. 人类思考vs模型思考:抽象和发散思维
摘要:
在Chain of Thought出来后,出现过许多的优化方案,这一章我们类比人类已有的思维方式,就抽象思维和发散思维这两个方向,聊聊step back和diversity prompt
阅读全文
posted @ 2024-03-10 14:37 风雨中的小七
阅读(284)
评论(0)
推荐(0)
编辑
2024年2月22日
解密prompt系列24. RLHF新方案之训练策略:SLiC-HF & DPO & RRHF & RSO
摘要:
这几章我们会针对经典RLHF算法存在的不稳定,成本高,效率低等问题聊聊新方案。第一章我们先说RLHF训练策略相关的方案,包括SLiC-HF,DPO,RRHF和RSO,他们之间有很多相似之处~
阅读全文
posted @ 2024-02-22 07:54 风雨中的小七
阅读(478)
评论(0)
推荐(0)
编辑
2024年1月15日
解密Prompt系列23.大模型幻觉分类&归因&检测&缓解方案脑图全梳理
摘要:
这一章我们单独针对大模型的幻觉问题,从幻觉类型,幻觉来源,幻觉检测,幻觉缓解这四个方向进行整理。这里就不细说任意一种方法了,直接用脑图概览地看下整个大模型幻觉领域
阅读全文
posted @ 2024-01-15 17:45 风雨中的小七
阅读(569)
评论(0)
推荐(0)
编辑
2024年1月1日
解密Prompt系列22. LLM Agent之RAG的反思:放弃了压缩还是智能么?
摘要:
当前RAG多数只让模型基于检索内容回答,其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能,需要最大化使用模型内化到参数中的信息,只在必要时调用外部知识,这里介绍前置和后置处理的几种方案~
阅读全文
posted @ 2024-01-01 19:15 风雨中的小七
阅读(516)
评论(0)
推荐(0)
编辑
2023年12月18日
解密Prompt系列21. LLM Agent之再谈RAG的召回信息密度和质量
摘要:
话接上文的召回多样性优化,这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架,这一章对应排序+重排环节。我们先对比下经典框架和RAG的异同,再分别介绍几种适用大模型的排序和重排方案~
阅读全文
posted @ 2023-12-18 08:05 风雨中的小七
阅读(1339)
评论(0)
推荐(0)
编辑
2023年12月3日
解密Prompt系列20. LLM Agent之再谈RAG的召回多样性优化
摘要:
看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架,结合新老论文,和langchain新功能聊聊RAG框架中召回多样性的优化方案,包括如何提高query多样性和索引多样性
阅读全文
posted @ 2023-12-03 21:26 风雨中的小七
阅读(2018)
评论(0)
推荐(0)
编辑
2023年11月19日
解密Prompt系列19. LLM Agent之数据分析领域的应用:Data-Copilot & InsightPilot
摘要:
这一章我们聊聊大模型在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗,数据处理,建模,数据洞察和可视化的步骤。这里我们聊两篇论文:Data-Copilot 和 InsightPilot
阅读全文
posted @ 2023-11-19 08:10 风雨中的小七
阅读(1644)
评论(0)
推荐(1)
编辑
2023年10月28日
解密Prompt系列18. LLM Agent之只有智能体的世界
摘要:
前四章不论是和数据库和模型还是和搜索引擎交互,更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界!分别基于源码介绍斯坦福小镇和Chatdev两篇论文
阅读全文
posted @ 2023-10-28 08:24 风雨中的小七
阅读(769)
评论(0)
推荐(1)
编辑
2023年10月14日
解密Prompt系列17. LLM对齐方案再升级 WizardLM & BackTranslation & SELF-ALIGN
摘要:
这一章介绍通过扩写,改写,以及回译等半监督样本挖掘方案对种子样本进行扩充,提高种子指令样本的多样性和复杂度,这里我们分别介绍Microsoft,Meta和IBM提出的三个方案。
阅读全文
posted @ 2023-10-14 09:26 风雨中的小七
阅读(593)
评论(0)
推荐(2)
编辑
上一页
1
2
3
4
5
6
···
11
下一页