FreeToken
由伯克利和德克萨斯大学研究团队开源的MoE模型专用推理引擎，通过动态调度策略和双缓冲机制优化消费级硬件上的大型MoE模型推理性能，是llama.cpp/Ollama的替代方案
时间轴 (近 90 天)
FreeToken 是 Apache 2.0 许可的边缘原生 MoE 服务引擎，将非专家权重保留在GPU、专家权重池存于系统RAM、剩余显存作动态LRU专家缓存
据 FreeToken 技术论文，在 RTX 5090 系统上 Qwen3-235B-A3B 可达 77-83 tokens/s，DeepSeek 相关模型在 agent 轨迹上可达 22-25 tokens/s
FreeToken 当前 CLI 需要 Linux x86_64、NVIDIA GPU 和 CUDA 13，支持模型列表受限
FreeToken仅支持MoE架构模型，并需要高性能PCIe连接（桌面级硬件）
FreeToken仅在模型尺寸超出GPU显存但不过分巨大时发挥最大价值，对于能完全放入显存的模型传统工具仍是更好的选择
FreeToken在相同硬件条件下实现了比Ollama快3倍的推理速度
FreeToken支持运行时调整GPU专家缓存大小，测试显示缓存从58%降至40%仅损失约10%性能，低于20%时性能急剧下降
FreeToken使用自定义的FTW权重格式，模型可直接从磁盘加载到引擎所需的内存布局，跳过重新打包步骤
FreeToken的Q*策略会实时测量机器的PCIe带宽和RAM速度，动态决定每批缺失专家是从RAM传输到GPU还是直接在CPU上计算
FreeToken通过双缓冲技术隐藏延迟：当GPU计算当前层时，后台已通过PCIe传输下一层的专家数据，实现计算与传输的并行化
还有 19 条时间轴事件
全部知识事实 (20)
FreeToken 是 Apache 2.0 许可的边缘原生 MoE 服务引擎，将非专家权重保留在GPU、专家权重池存于系统RAM、剩余显存作动态LRU专家缓存
50%待验证据 FreeToken 技术论文，在 RTX 5090 系统上 Qwen3-235B-A3B 可达 77-83 tokens/s，DeepSeek 相关模型在 agent 轨迹上可达 22-25 tokens/s
50%待验证FreeToken是由伯克利和德克萨斯大学的研究团队开源的推理引擎，专门针对消费级硬件上的MoE模型进行深度优化，作为LLAMA.CPP或Ollama的替代方案
50%待验证FreeToken在相同硬件条件下实现了比Ollama快3倍的推理速度
50%待验证FreeToken将GPU显存视为缓存，完整模型始终保存在系统内存中作为真实数据源，GPU仅保留最常用的专家
50%待验证FreeToken通过双缓冲技术隐藏延迟：当GPU计算当前层时，后台已通过PCIe传输下一层的专家数据，实现计算与传输的并行化
50%待验证FreeToken的Q*策略会实时测量机器的PCIe带宽和RAM速度，动态决定每批缺失专家是从RAM传输到GPU还是直接在CPU上计算
50%待验证FreeToken使用自定义的FTW权重格式，模型可直接从磁盘加载到引擎所需的内存布局，跳过重新打包步骤
50%待验证FreeToken支持运行时调整GPU专家缓存大小，测试显示缓存从58%降至40%仅损失约10%性能，低于20%时性能急剧下降
50%待验证在4bit量化版本（完全放入32GB显存）测试中，Ollama达240 tokens/s，FreeToken为225 tokens/s，Ollama反而更快
50%待验证FreeToken仅在模型尺寸超出GPU显存但不过分巨大时发挥最大价值，对于能完全放入显存的模型传统工具仍是更好的选择
50%待验证FreeToken仅支持MoE架构模型，并需要高性能PCIe连接（桌面级硬件）
50%待验证FreeToken桌面应用目前仅支持Windows和Linux，提供模型兼容性检测功能，但无法访问项目文件夹或修改文件，更适合通过CLI使用
50%待验证FreeToken实测8GB显存笔记本可运行约35B参数模型
50%待验证FreeToken使753B参数的超大模型可以在单张工作站显卡上运行
50%待验证FreeToken论文并未披露生成速度（tok/s）和延迟数据，仅证明模型能够加载和推理
50%待验证FreeToken能让753B参数的模型在单张工作站显卡上运行
50%待验证FreeToken在8GB显存笔记本上可运行约35B参数模型，游戏级桌面显卡可运行284B参数模型，工作站单卡可运行753B参数模型
50%待验证FreeToken目前支持20多个开源混合专家模型
50%待验证参数在显存、内存、磁盘之间来回搬运会带来显著的I/O开销，可能导致实际生成速度降至0.5 tok/s以下
50%