vLLM 0.32: NVFP4 KV cache a poloviční KV paměť u GLM-5.x

vLLM 0.32.0 vyšel 18. 10. 2026 s 814 commity od 363 přispěvatelů, z toho 121 nových. Hlavní témata jsou nízkoprecision KV cache, rychlejší start a nový Model Runner V2, který je nově výchozí na ROCm. Kdo provozuje vlastní inferenci, dostane na stejném GPU víc požadavků — upgrade ale rozbije část produkčních skriptů.

KV cache je paměť pro už zpracovaný kontext a určuje, kolik požadavků se na jednu GPU vejde — u dlouhých promptů zabere víc místa než samotné váhy modelu. Zmenšení precision proto znamená delší kontext, nebo víc paralelních požadavků.

Klíčové parametry

• NVFP4 KV cache nově běží na SM8x, SM12x a SM90; XQA decode na SM12x, sparse attention pro MiniMax-M3 na SM100
• GLM-5.x: na SM100 defaultně FP8 KV cache, poloviční KV paměť na rank, +2,3–5,5 % throughputu, ale +7–11 % TTFT
• fp8_ds_mla na SM90: GLM-5.3-Flash až +31 % výstupního throughputu
• ROCm dostal 4bit KV cache ultraquant_4bit s přibližně dvojnásobnou hustotou proti FP8
• --api-server-count > 1: 43–85 % více požadavků za sekundu u krátkých dotazů (Qwen3-0.6B, 32 vstupních / 1 výstupní token)
• Breaking changes: končí Python 3.10, výchozí CORS už nepovoluje všechny originy, transformers >= 5.16.1,<5.20.0
• Opraveny tři bezpečnostní díry (GHSA-4hhp-h66f-j5j7, GHSA-q97c-p368-75c4, GHSA-frvg-qw88-hww9); vstupní obrázky jen v rastrových formátech

Srovnání

Změny se projeví až při nasazení: opravy jsou důvodem k upgradu, skripty i konfiguraci CORS je ale potřeba projít předem.

Pro správce: Bezpečnostní opravy jsou samy důvod k upgradu — tři díry a omezení vstupních obrázků na rastrové formáty se týkají každého, kdo přes vLLM pustí data zvenčí. Produkční skripty projděte předem: konec podpory Pythonu 3.10 a nové výchozí CORS se projeví až při nasazení, takže si zafixujte verzi a projděte povolené originy. U interaktivních úloh počítejte s pomalejší první odpovědí — poloviční KV paměť u GLM-5.x je vykoupená růstem TTFT o 7–11 %.