chatgpt资源
访问资源
[zzzcode.ai 网站] https://zzzcode.ai/answer-question
[phind基于AI的搜索引擎]https://www.phind.com/
支持多个模型的chat https://poe.com/
[chatgpt 免费网站收集] https://github.com/xx025/carrot
实用开发文档
ChatGPT分享-如何开发一个LLM应用 https://www.51cto.com/article/749570.html
博客园botai有一系列GPT的文章 https://www.cnblogs.com/botai/
本地部署chatglm及缓解时效性问题的思路 https://github.com/chopinchenx/Bubble
ChatGPT 实用指南（一）https://zhuanlan.zhihu.com/p/620426699
ChatGPT技术路线分析 https://zhuanlan.zhihu.com/p/615331483
视频
B站 五里墩茶社
B站 MedalCollector
LLM应用框架
首推 Ollama, Ollama 使用go语言实现, 支持Win/linux/Mac部署, 对于本地运行LLM相比于llama.cpp简单得多, llama.cpp我们需要自己量化, Ollama 已提供量化过的模型, 所以我们可以在普通电脑上跑大模型, Ollama 官方提供python/js的开发包, 对于其他主流语言社区也有开发包, 同时社区已经有了很多 webUI, 比较有名的是 open webUI < https://github.com/open-webui/open-webui
Ollama 本地运行LLM+开发框架 https://github.com/ollama/ollama https://zhuanlan.zhihu.com/p/689555159 https://zhuanlan.zhihu.com/p/687099148 https://zhuanlan.zhihu.com/p/685166253 https://babyno.top/posts/2024/03/run-a-large-language-model-locally-2/
langchain LLM开发框架 https://docs.langchain.com/docs/
langchain4j java 版本LangChain 项目 https://docs.langchain4j.dev/
liteLLM 为所有模型提供统一的rest接口 https://github.com/BerriAI/litellm , langchain 在类库级别也提供了各个模型的统一API接口
LocalAI 本地运行LLM https://github.com/go-skynet/LocalAI
gpt4free 本地运行LLM https://github.com/xtekky/gpt4free
LMStudio 本地运行LLM https://zhuanlan.zhihu.com/p/672660130
LanceDb向量数据库, 类似sqlite的in-process向量数据库, 适合于中小型应用, 支持语义搜索和全文搜索, 支持多种 embedings 模型, 比如 检索完成后还可以通过ColBERT/CrossEncoder/english-v3 模型进行rerank.
Chroma 向量数据库: 最流行的向量数据库之一, 支持 server 模式部署, 更适合大型应用
embeding: 一般使用encoder only transformer架构, 先将切分后的文本压缩成向量格式
rerank: 一般使用decoder only transformer架构, 类似LLM, 用于对embeding返回的top k 文本进行重排序, 重排序的过程是将这些top k文本和用户问题传入rerank 模型中, 模型返回一个新的top k 排序, 即可得到更精准的的关度, 将rerank的结果送入LLM生成的效果会更好.
https://hub.baai.ac.cn/view/35966, 智源团队再度推出新一代检索排序模型
RAG 架构
https://www.luxiangdong.com/2023/12/28/torchv1/
https://www.luxiangdong.com/2024/01/25/lanuch-1/
https://techdiylife.github.io/blog/
https://github.com/1Panel-dev/MaxKB :MaxKB 项目
embeding/rerank模型选择可参考QAnything项目
