待验证50% 置信事件精确时间
开发者在苹果M5 Max 128GB设备上通过MLX-serve运行Qwen3.8-Flash-Next模型实现了100万token上下文窗口的本地运行
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/10
首次发现
有效期至:2026/12/9
来源
涉及实体
相关事实
待验证本地推理受限于用户硬件,一个7B参数量化模型(如Llama 3 8B的Q4版本)文件约4-5GB,在Apple M系列芯片Mac上可达每秒20-40个token,在仅有集成显卡和8GB内存的笔记本上可能降至每秒3-5个token73% 相似待验证在16GB内存硬件条件下只能容纳5GB以内的模型,因此该开发者使用了体积约4.8GB的Qwen 2.5 7B 4bit量化模型,配8K上下文窗口71% 相似待验证Qwen2.5-Max-0902支持100万Token的上下文窗口71% 相似待验证Fable 5 1M Max模型支持高达100万token的上下文窗口69% 相似待验证苹果A18 Pro统一内存架构最高支持16GB,内存带宽达68GB/s,Neural Engine算力达35 TOPS68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/888246API
curl https://kongchang.com/api/v1/knowledge/claims/888246MCP
get_claim(id=888246)