公司
InferenceKey
专注于大模型推理部署与性能测量的团队，整合多种推理优化组件并进行实测评估
时间轴 (近 90 天)
10月16日
能跑起来的方案依赖一套组合：DeepSeek 出权重，coolbho3k 做 3-bit 量化，turboderp 写了 EXL3 格式和 ExLlamaV3 推理库，Victor Cruz 写了 vllm-exl3 桥接层，Diffbot 设计了按专家的拆分方案、启动流程和 kernel，InferenceKey 做集成和测量。
待验证50%
专注于大模型推理部署与性能测量的团队，整合多种推理优化组件并进行实测评估
能跑起来的方案依赖一套组合：DeepSeek 出权重，coolbho3k 做 3-bit 量化，turboderp 写了 EXL3 格式和 ExLlamaV3 推理库，Victor Cruz 写了 vllm-exl3 桥接层，Diffbot 设计了按专家的拆分方案、启动流程和 kernel，InferenceKey 做集成和测量。