随笔 - 128  文章 - 0  评论 - 75  阅读 - 11万

随笔分类 -  LlamaIndex实战

LlamaIndex中的CustomLLM(在线加载模型)
摘要:一.使用 Flask 将模型封装为 REST 接口 主要是将 complete()和 stream_complete()方法封装为 REST 接口,如下所示: from flask import Flask, request, jsonifyfrom transformers import Auto 阅读全文
posted @ 2024-01-14 23:37 扫地升 阅读(486) 评论(0) 推荐(0) 编辑
LlamaIndex中的CustomLLM(本地加载模型)
摘要:LlamaIndex 中接口基本上调用的是 OpenAI,如果想想调用自定义模型可以吗?答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类 class CustomLLM(LLM)。 一.CustomLLM(LLM) 源码 只要子类必须实现 __init__、_complete、_str 阅读全文
posted @ 2024-01-14 23:36 扫地升 阅读(1055) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示