会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
我刀呢?
博客园
首页
新随笔
联系
订阅
管理
2024年9月8日
大模型agent开发之transformer
摘要: 文档转换器 将文档分成小的,有意义的语句块。将小的块组合成一个更大的块,直到达到一定大小。一旦达到一定大小,接着开始创建与下一个块重叠的部分。 1. 分割文档 文档分割可以使用langchain组件中的RecursiveCharacterTextSplitter方法,这是一种文本分割器。可以根据指定
阅读全文
posted @ 2024-09-08 16:25 我刀呢?
阅读(22)
评论(0)
推荐(0)
编辑
公告