vLLM 0.32: NVFP4 KV cache a poloviční KV paměť u GLM-5.x
vLLM 0.32.0 přinesl NVFP4 KV cache a u GLM-5.x poloviční KV paměť na rank, upgrade z 0.31 ale rozbije produkční skripty kvůli novému výchozímu CORS a konci Pythonu 3.10.
Zdroj: vLLM (GitHub)
#VLLM
1 článek
Všechny tagy