Unverified50% confidenceFactExact time
EXL2格式由ExllamaV2项目于2024年引入，支持非均匀位宽分配，ExllamaV2目前仅支持NVIDIA GPU（CUDA），不支持Metal或Vulkan
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/16/2026
First Seen
Valid until: 10/14/2026
Sources
Related Claims
UnverifiedExLlamaV3 是专为消费级 NVIDIA GPU 上高效运行 GGUF/EXL2 等量化格式大语言模型而设计的推理引擎68% similarUnverifiedUnsloth通常需要配合NVIDIA GPU使用，推荐RTX 3090/4090或更高62% similarUnverified开源模型可通过 Ollama、llama.cpp、LM Studio 等推理框架在消费级 GPU（如 NVIDIA RTX 4090，显存24GB）上运行61% similarUnverifiedExLlama 系列深度针对 NVIDIA CUDA 平台优化，在单用户本地交互场景下往往能榨取更高的单卡性能上限61% similarUnverifiedFP8格式由NVIDIA、ARM和Intel联合于2022年提出60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/536143API
curl https://kongchang.com/api/v1/knowledge/claims/536143MCP
get_claim(id=536143)