Large Language Models: A Survey
Large Language Models: A Survey
https://arxiv.org/pdf/2402.06196
导读
https://developer.volcengine.com/articles/7389111961612451866
1、介绍了语言建模的历史背景，从统计语言模型到神经网络模型，再到预训练语言模型和LLMs的发展。
流行语言模型类型 ：Encoder-Only、Decoder-only、Encoder-Decoder 、GPT Family、LLaMA Family 、PaLM Family、Other Popular LLMs
一些流行语言模型的高级概述
2、LLMs的兴起：讨论了通过在大规模文本数据上训练数十亿参数的LLMs，展现出强大的语言理解和生成能力。
大模型的强大能力矩阵
LLM的能力可以分为三个主要类别：
- 基础能力 ： 编码（Coding）、理解（Comprehension）、世界知识（World knowledge）、多语言（Multilingual）。
- 进阶能力 ： 指令遵循（Instruction following）、上下文学习（In-context learning）、推理（Reasoning）。
- 聚合能力 ：与用户进行交互（Interacting with users）、工具利用（Tool utilization）、自我改进（Self-improvement）。
3、LLMs家族：详细回顾了三个主要的LLMs家族： GPT、LLaMA和PaLM ，以及它们的模型特性、贡献和局限性。
三个主要的LLM家族
4、构建LLMs：探讨了构建LLMs的关键技术，包括数据准备、模型架构、预训练、微调和指令调优。
一些最具代表性的大型语言模型（LLM）框架的时间线
5、LLMs的应用：描述了如何使用和增强LLMs，包括 LLM局限性、 Prompt工程、RAG、工具利用和LLM智能体 。
LLMs如何使用和增强
7、提供了LLMs
开发和部署的开源工具和资源列表：
A. LLM训练/推理框架（LLM Training/Inference Frameworks）：
- DeepSpeed：一个优化库，简化了分布式训练和推理，支持大规模语言模型。
- Transformers：由HuggingFace提供的库，包含数千个预训练模型，适用于文本、视觉和音频任务。
- Megatron-LM：NVIDIA开发的高效、模型并行的Transformer模型。
- BMTrain：一个高效的大型模型训练工具包，支持分布式训练。
- GPT-NeoX：基于Megatron-DeepSpeed库，提供更高的可用性和优化。
- LoRA：支持大型语言模型的低秩适应，减少可训练参数数量。
- ColossalAI：提供分布式深度学习模型的并行组件。
B. 部署工具（Deployment Tools）：
- FastChat：一个开放平台，用于训练、服务和评估基于LLM的聊天机器人。
- Skypilot：一个框架，用于在任何云上运行LLMs、AI和批处理作业。
- vLLM：一个快速且易于使用的LLM推理和服务库。
- text-generation-inference：一个部署和服务于LLMs的套件。
- LangChain：一个框架，用于开发由语言模型驱动的应用程序。
- OpenLLM：一个开源平台，用于在现实世界应用中部署和操作LLMs。
- Embedchain：一个开源RAG框架，简化了AI应用的创建和部署。
- Autogen：一个框架，允许使用多个代理来解决任务。
- BabyAGI：一个自主AI代理，基于给定目标生成和执行任务。
C. 提示库（Prompting Libraries）：
- Guidance：一种编程范式，提供优于传统提示和链接的控制和效率。
- PromptTools：一套开源工具，用于实验、测试和评估LLMs、向量数据库和提示。
- PromptBench：一个基于PyTorch的Python包，用于评估LLMs。
- Promptfoo：一个测试和评估LLM输出质量的工具。
D. 向量数据库（VectorDB）：
Faiss：由Facebook AI Research开发的库，用于高效相似性搜索和聚类。
Milvus：一个开源向量数据库，用于支持嵌入相似性搜索和AI应用。
Qdrant：一个向量相似性搜索引擎和向量数据库。
Weaviate：一个基于GraphQL的向量搜索引擎，支持高维数据的相似性搜索。
