litellm ollama 通过proxy api 进行模型创建以及自定义计费

关于计费我以前简单介绍过，可以通过ui 配置，同时对于计费费用可以使用api 获取，实际上我们可以直接通过api 创建模型的时候进行自定义计费配置，以下是一个简单说明

参考api

• 定义

• 使用
  通过curl 模式，注意此数据实际会存储到db 中，注意配置文件中关于db 信息的添加

curl -X 'POST' \

  'http://0.0.0.0:4000/model/new' \

  -H 'accept: application/json' \

  -H 'API-Key: sk-1234' \

  -H 'Content-Type: application/json' \

  -d '{

  "model_name": "dalongdemov3",

  "litellm_params": {

    "api_key": "demo",

    "api_base": "http://localhost:11434",

    "input_cost_per_token": 1,

    "output_cost_per_token": 1,

    "input_cost_per_second": 1,

    "output_cost_per_second": 1,

    "model": "ollama/qwen2:7b"

  }

}'

• 效果

说明

目前api 设计的实际有些参数传递了反而会有问题，以上是测试通过的一个

参考资料

https://docs.litellm.ai/docs/