vLLM

高性能大模型推理服务框架，主打高吞吐与易用性。

vLLM 通过 PagedAttention 优化 KV 缓存管理，吞吐可达传统实现的数倍，并兼容 OpenAI 风格 API，是自托管推理的事实标准之一。