待验证50% 置信基准精确时间

FreeToken在相同硬件条件下实现了比Ollama快3倍的推理速度

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/11

首次发现

有效期至：2026/12/10

来源

FreeToken推理引擎：MoE模型速度提升3倍的技术突破

涉及实体

FreeTokenproduct Ollamaproduct

相关事实

待验证FastAPI的单机并发吞吐量可达传统同步框架（如Flask）的数倍至十倍以上70% 相似待验证Ollama的OLLAMA_MAX_LOADED_MODELS默认值是GPU数量的3倍（CPU推理时为3）68% 相似待验证使用NVIDIA NIM、TensorRT-LLM等优化过的推理引擎能在相同硬件上获得数倍的性能提升67% 相似待验证软件解码的 CPU 占用可能是硬件加速路径的 5 到 10 倍66% 相似待验证Ollama CPU 推理模式下生成速度会从 GPU 的每秒 30-80 个 Token 降至每秒 2-8 个 Token66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/897256

API

curl https://kongchang.com/api/v1/knowledge/claims/897256

MCP

get_claim(id=897256)