litellm 配置embedding 模型

litellm 对于embedding模型的配置实际与普通模式的配置是一样的,embedding 有特定的,同时chat 模型也都有embedding 能力

参考配置

通过proxy 模式

model_list:
  - model_name: text-embedding-ada-002
    litellm_params: 
      model: ollama/michaelborck/refuled
      api_base: http://localhost:11434
      api_key: demo

说明

目前ollama 官方也提供了不少专用embedding 模型,详细的可以参考链接

参考资料

https://litellm.vercel.app/docs/embedding/supported_embedding
https://ollama.com/blog/embedding-models
https://ollama.com/library/nomic-embed-text

posted on 2024-08-24 07:34  荣锋亮  阅读(4)  评论(0编辑  收藏  举报

导航