#FP8量化

一个参数让128K上下文塞进4090：FP8 KV缓存量化实战

详解vLLM的FP8 KV缓存量化：一个参数让7B模型64K上下文塞进24GB的4090，显存减半、成本降至四分之一，附128K场景的显存计算与精度校准注意事项。