litellm ollama 通过proxy api 进行模型创建以及自定义计费
关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明
参考api
- 定义
- 使用
通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加
curl -X 'POST' \
'http://0.0.0.0:4000/model/new' \
-H 'accept: application/json' \
-H 'API-Key: sk-1234' \
-H 'Content-Type: application/json' \
-d '{
"model_name": "dalongdemov3",
"litellm_params": {
"api_key": "demo",
"api_base": "http://localhost:11434",
"input_cost_per_token": 1,
"output_cost_per_token": 1,
"input_cost_per_second": 1,
"output_cost_per_second": 1,
"model": "ollama/qwen2:7b"
}
}'
- 效果
说明
目前api 设计的实际有些参数传递了反而会有问题，以上是测试通过的一个
