vLLM与PagedAttention：全面概述

翻译自：https://medium.com/@abonia/vllm-and-pagedattention-a-comprehensive-overview-20046d8d0c61

简单、快速且经济的LLM服务

vLLM是一个旨在提高大型语言模型（LLM）推理和服务效率与性能的库。由UC Berkeley开发，vLLM引入了PagedAttention，这是一种新颖的注意力算法，显著优化了注意力键和值的内存管理。这一创新不仅提高了吞吐量，还实现了对传入请求的持续批处理，使用CUDA/HIP图快速执行模型，并支持包括并行采样和束搜索在内的多种解码算法。vLLM兼容NVIDIA和AMD GPU，并与流行的Hugging Face模型无缝集成，使其成为开发者和研究人员的通用工具。

PagedAttention：关键技术

PagedAttention是vLLM性能提升的核心。它通过将KV缓存划分为块，解决了LLM服务中内存管理的重大问题，允许在内存中非连续存储键和值。这种方法不仅优化了内存使用，减少了高达96%的浪费，还实现了高效的内存共享，显著降低了复杂采样算法的内存开销。PagedAttention的内存管理策略受到操作系统中虚拟内存和分页概念的启发，提供了一种灵活且高效的方式来管理内存资源。

vLLM系统概览 — arxiv.2309.06180

vLLM的特性和能力

• 高吞吐量和内存效率
  vLLM提供了最先进的服务吞吐量，使其成为需要高性能和低延迟应用的理想选择。
• 持续的请求批处理
  vLLM高效地管理传入的请求，允许持续的批处理和处理。
• 快速模型执行
  利用CUDA/HIP图，vLLM确保模型的快速执行，提高LLM服务的整体性能。
• 量化支持
  vLLM支持各种量化技术，包括GPTQ、AWQ、SqueezeLLM和FP8 KV缓存，以进一步优化模型性能并减少内存占用。
• 优化的CUDA内核
  vLLM包括针对NVIDIA GPU的优化CUDA内核，以提高性能。
• 张量并行性支持
  对于分布式推理，vLLM提供张量并行性支持，便于在多个GPU上实现可扩展和高效的模型服务。
• 流式输出
  vLLM支持流式输出，允许实时处理和交付模型输出。
• 兼容OpenAI的API服务器
  vLLM可用于启动兼容OpenAI API的服务器，使其易于与现有系统和工作流程集成。