vllm 是什么?高吞吐、省显存的大模型推理与服务引擎
中文导读
vLLM 是一个用于大语言模型推理和服务的开源库，重点解决高吞吐与显存效率问题。它通过 PagedAttention 管理注意力显存，并结合连续批处理、前缀缓存、量化、投机解码等技术，让模型服务在有限硬件上承载更多请求。项目支持 Hugging Face 上 200 多种模型架构，提供 OpenAI 兼容 API，可运行在多种 GPU 与 CPU 上，适合需要自建或优化 LLM 推理服务的开发者与团队。
根据 GitHub 公开数据,该项目的编程语言为 Python,开源协议为 Apache-2.0,创建于 2023-02-09,最近更新于 2026-10-16,目前有 93,869 个 Star。
项目介绍
vLLM 是一个面向大语言模型的推理与服务库，最初由 UC Berkeley 的 Sky Computing Lab 开发，目前由来自学术界和工业界的社区共同维护。它的目标是在保证易用性的同时，提供高吞吐、低显存占用的 LLM 推理与服务能力。
在性能方面，vLLM 使用 PagedAttention 管理注意力 key/value 显存，支持连续批处理、chunked prefill、前缀缓存、CUDA/HIP 图、多种量化方案（FP8、INT8、INT4、GPTQ/AWQ、GGUF 等）、优化后的注意力与 GEMM/MoE 内核、投机解码以及分离式 prefill/decode/encode。
在使用方面，它可以无缝加载 Hugging Face 上的模型，支持张量、流水线、数据、专家和上下文并行，提供流式输出、结构化输出、工具调用与推理解析器，并带有 OpenAI 兼容 API 服务、Anthropic Messages API 和 gRPC 支持。vLLM 支持 200 多种模型架构，覆盖纯解码器 LLM、MoE、混合注意力与状态空间模型、多模态模型、嵌入与检索模型等，可运行在 NVIDIA、AMD、Intel GPU 以及多种 CPU 和硬件插件上。
主要功能
- 基于 PagedAttention 的注意力 key/value 显存管理，提升显存利用率
- 连续批处理、chunked prefill 与前缀缓存，提高服务吞吐
- 支持 FP8、INT8、INT4、GPTQ/AWQ、GGUF 等多种量化方案
- 提供 OpenAI 兼容 API 服务，并支持 Anthropic Messages API 与 gRPC
- 支持张量、流水线、数据、专家和上下文并行，用于分布式推理
- 支持 200 多种 Hugging Face 模型架构，包括 LLM、MoE、多模态与嵌入模型
适合谁用
适合需要部署或自建大模型推理服务的开发者、研究人员和运维人员，也适合希望以较高吞吐运行 Hugging Face 模型的团队。
快速上手
- 使用 uv 安装：uv pip install vllm
- 下载预编译内核以加快启动：vllm download-kernels
- 或使用 pip 安装：pip install vllm
- 如需开发，可参考文档从源码构建 wheel
- 查阅官方文档的 Installation、Quickstart 与支持模型列表