LlamaIndex中的CustomLLM(在线加载模型)
摘要:一.使用 Flask 将模型封装为 REST 接口 主要是将 complete()和 stream_complete()方法封装为 REST 接口,如下所示: from flask import Flask, request, jsonifyfrom transformers import Auto
阅读全文
posted @
2024-01-14 23:37
扫地升
阅读(486)
推荐(0) 编辑
LlamaIndex中的CustomLLM(本地加载模型)
摘要:LlamaIndex 中接口基本上调用的是 OpenAI,如果想想调用自定义模型可以吗?答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类 class CustomLLM(LLM)。 一.CustomLLM(LLM) 源码 只要子类必须实现 __init__、_complete、_str
阅读全文
posted @
2024-01-14 23:36
扫地升
阅读(1055)
推荐(0) 编辑