2023年10月17日
LangChain
摘要： 对超长文本进行总结 假如我们想要用 open ai api 对一个段文本进行总结，我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结 阅读全文
posted @ 2023-10-17 20:16 嘎吱嘎吱脆 阅读(153) 评论(0) 推荐(0) 编辑