2024年3月5日
AI时代：本地运行大模型vllm
摘要： https://docs.vllm.ai/en/latest/index.html 高吞吐量、高内存效率的 LLMs 推理和服务引擎(快速搭建本地大模型，且openAI API 兼容） vLLM is a fast and easy-to-use library for LLM inference 阅读全文
posted @ 2024-03-05 22:41 iTech 阅读(215) 评论(0) 推荐(0) 编辑
AI时代：开源大模型选择
摘要： https://docs.llamaindex.ai/en/stable/module_guides/models/llms.html 可以按参数和评分来选择模型： https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard ll 阅读全文
posted @ 2024-03-05 22:36 iTech 阅读(15) 评论(0) 推荐(0) 编辑
AI时代：本地运行大模型ollama
摘要： https://ollama.com/ 使用 Llama 2、Mistral、Gemma 和其他大型语言模型启动和运行。 支持windows,Linux,Mac。 支持的开源模型列表： Ollama supports a list of models available on ollama.com/ 阅读全文
posted @ 2024-03-05 22:12 iTech 阅读(383) 评论(0) 推荐(0) 编辑