SaaS Feeds 编辑部 · 2026-11-09

2026-11-09 中午的知乎热榜上有一条问题,「vLLM 和 SGLang 的真正区别是什么?」,排名 30。这是个老问题的又一轮热度。检索同一话题,排在前面的多是结论先行的对比文,性能数字缺可核验出处,还有文章把两个框架的版本号写错[3][4]。热榜条目只说明讨论存在,回答它需要回到两个项目自己的口径。两个开源推理引擎的官方定位差异是清楚的。vLLM 把自己表述为通用的大语言模型(LLM)服务引擎,SGLang 把智能体(Agent)负载、大规模服务和强化学习(RL)采样写进第一句自我介绍[5][6]。对企业部署来说,可靠的顺序是先按负载定方向,再逐项核对算力在支持列表里的标注,最后用自有硬件压测拿数字。公开跑分只作线索,数字结论出自自家压测。

官方定位把两个引擎分开

vLLM 官网对项目的介绍是高吞吐、省显存的推理与服务引擎,卖点是易用、快速、成本效率。它给出的核心机制是分页注意力 PagedAttention,配高级调度与连续批处理,官方说法是让图形处理器(GPU)的利用率保持峰值,并且内置 OpenAI 兼容的应用程序接口(API)[5]。当前版本 v0.33.0 于 2026-11-02 发布,官方新闻列出 927 次提交与 389 位贡献者,随版本带入 PyTorch 2.14,同时放弃 CUDA 12.9[5]。

SGLang 的官方 README 把它写成面向大语言模型、视觉语言模型和扩散模型的开源推理框架,优化方向是智能体负载、大规模服务与强化学习采样[6]。这套表述与更早的口径有距离。官方文档中文镜像(页面标注最后更新于 2024-09-25)当时的说法是后端运行时与前端语言共同设计,后端核心包括 RadixAttention 前缀缓存、跳跃式约束解码、连续批处理、令牌注意力(分页注意力)、张量并行、FlashInfer 内核、分块预填充和量化(INT4/FP8/AWQ/GPTQ),前端语言当时叫「结构化生成语言」[10]。SGLang 当前版本是 0.5.23,从 0.5.18 到 0.5.22 的发布日期横跨 2026-08-21 至 10-16,节奏是每两到四周一个版本[9]。

两个项目的关系也要放进考虑。SGLang 官方致谢列出其学习并复用了 Guidance、vLLM、LightLLM、FlashInfer、Outlines 和 LMQL 的设计与代码[6]。DeepSeek 的官方仓库自述其推理引擎基于 vLLM 早期分支构建,决定不整体开源内部引擎,改为把可拆的组件与优化分享给现有开源项目,并承诺在新模型发布前同步推理相关的工程优化,目标是让社区在新模型发布当天获得支持[8]。哪些优化已经进了 SGLang,一手文档没有点名,此处不下结论。这些定位与机制上的差异要落到负载上才有意义。

负载类型决定哪份官方表述更对口

多轮对话、智能体编排这类场景的共同特点是请求之间共享大量相同前缀。SGLang 的 RadixAttention 用前缀树结构复用键值(KV)缓存,官方文档把它列在后端核心能力的第一项,这类复用对重复前缀占比高的请求有价值[10]。单轮、高并发、模型通用的在线服务,则更贴近 vLLM 的表述,PagedAttention 把 KV 缓存切成页来管理,配连续批处理让新请求随时插入,OpenAI 兼容的接口也让现有调用方迁移成本低[5]。

机制表述给的是判断的起点。两个框架都用了连续批处理,都支持分页注意力的思路[5][10],差异在 SGLang 多一层前端语言和前缀树复用,vLLM 的优化重心在通用服务吞吐。同一机制在不同模型、不同请求长度、不同并发下的表现要靠压测说话。负载之外,第二个要核对的是算力在哪。

算力在国产芯片上时支持列表要逐项核对

vLLM 官网的支持列表覆盖 NVIDIA CUDA、AMD ROCm、华为昇腾、AWS Neuron、Google TPU、IBM Spyre、Intel Gaudi 与 XPU、Apple Silicon、百度昆仑、寒武纪 MLU 等[5]。SGLang 的支持列表覆盖 NVIDIA 各代数据中心卡、AMD、TPU、Intel、Apple Silicon、华为昇腾 A2、A3 与 950PR/DT、摩尔线程 MTT S5000 等,寒武纪 MLU、阿里平头哥 PPU、沐曦 MetaX 等标注为「整合中」[6]。

标注的含义要分清。已列入支持列表不代表各平台成熟度相同,标注整合中更不代表已经可用。GPUStack 一篇实践文(厂商自我声明)描述了在沐曦 MetaX C500 国产 GPU 上统一纳管 vLLM 与 SGLang 两类服务,宿主机用 mx-smi 查看显卡状态,驱动与运行库分别位于 /opt/mxdriver 与 /opt/maca 目录[2]。这类描述属于厂商演示口径,它给的是生态现状的线索,全面可用性没有第三方核验。

前排对比文的版本号与跑分经不起核对

这次检索到的前排内容足以说明照抄的风险。CSDN 一篇对比文给出对比结论,数字为自称的内部测试,无外部可核验出处,测试条件不完整,文末是培训课程导流[3]。博客园另一篇把 vLLM 0.5.0 和 SGLang 0.5.0 都写成 2026 年初发布,与 vLLM v0.33.0、SGLang 0.5.x 的官方发布轨迹对不上,还虚构了「脚本解析器、动态路由」的 SGLang 架构描述[4]。版本号写错的对比文,结论无从核对。

数字层面还有一类常见混淆。DeepSeek 开源周官方仓库自述其在线服务达到每个 H800 节点每秒 73.7k 输入、14.8k 输出 tokens,成本利润率 545%,时间是 2025 年 2 月,口径是厂商自我声明,对象是它自家的推理系统[7],它不构成 vLLM 对 SGLang 的跑分。同理,a16z 关于同等性能大模型成本每年下降 10 倍的预测(转引自厂商综述文)说的是成本曲线,换不成某个引擎的性能结论[1]。

要数字就自己测。vLLM 提供公开基准入口 perf.vllm.ai[5]。家用真实负载、真实硬件、同一组请求测出的一组数,比抄来的二手跑分可靠。三天后(2026-11-12 至 13)SGLang Summit 2026 在旧金山举行,社区评测材料会给出新的参照[6]。

选型不是终身制

按 GPUStack 的口径,两个引擎并存是常见状态,麻烦从选哪个变成怎么统一部署、监控和计量。GPUStack 自述为面向生产的开源 AI 模型服务平台,支持 vLLM、SGLang、MindIE 等主流推理引擎,原生兼容多厂商异构 GPU,把部署、观测和计量放进同一个平台(厂商自我声明)[2]。写进选型考虑的点在于,SGLang 保持每两到四周发一版的节奏[9],vLLM 在 2026 年 11 月初刚发 v0.33.0[5],两个社区都在快速移动,引擎可替换的架构比押注某一个框架更能吸收版本间的变化。

把顺序合起来

回到热榜上那个问题。可以核对的是官方定位(通用服务引擎对智能体与强化学习优化的框架)、核心机制(分页注意力加连续批处理对前缀树复用加前端语言)、支持列表与版本节奏。选型顺序因此是先按负载定方向,单轮高并发的通用服务从 vLLM 的表述入手,多轮对话、智能体编排、结构化生成与强化学习采样这类负载从 SGLang 的表述入手;再逐项核对自家算力在两份支持列表里的标注,整合中的项按不可用预估;最后用自有硬件压测拿数字。公开跑分不带测试条件就不抄,版本号对不上官方发布轨迹的文章跳过。两个项目都是活跃的开源社区,结论会随版本移动,运维上保持可替换,数字隔一段时间重测。