vLLM 0.32: NVFP4 KV cache a poloviční KV paměť u GLM-5.x
vLLM 0.32.0 přinesl NVFP4 KV cache a u GLM-5.x poloviční KV paměť na rank, upgrade z 0.31 ale rozbije produkční skripty kvůli novému výchozímu CORS a konci Pythonu 3.10.
Zdroj: vLLM (GitHub)
#Selfhosting
2 články
Všechny tagy
Meta Muse Glimmer: 30B model pod Apache 2.0 pro lokální agenty
Meta Superintelligence Labs vydaly 30B multimodální model Muse Glimmer pod Apache 2.0 s kontextem 128K, Ollama ho zařadila v den vydání a model se má vejít na stanici s …
Zdroj: Ollama
