待验证50% 置信事实精确时间
在80GB H100上运行35B参数模型进行对话时，每次生成token实际只使用约3B等效的权重。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证开发者采用Qwen3.6-35B-A3B模型：整体拥有35B权重，处理每个词时只使用3B权重，计算成本与普通4B、8B模型相当，在自己的网关（vLLM）上运行。70% 相似待验证35B-A3B混合专家模型总参数35B，每次推理实际激活约30亿参数，适合16GB显存的卡运行70% 相似待验证在64GB内存下，30B～34B参数模型在Q4量化下可以流畅运行，70B模型在Q4下勉强可行但响应速度明显下降69% 相似待验证35B模型在4090级显卡上可达每秒45到60个token69% 相似待验证原本需要 A100 80GB 才能完成的 70B 参数模型微调任务，在 Unsloth 优化下可以在消费级 RTX 4090（24GB）上运行68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013079API
curl https://kongchang.com/api/v1/knowledge/claims/1013079MCP
get_claim(id=1013079)