待验证50% 置信观点精确时间
在 JetBrains 自报的评测中，12B MoE 的 Mellum2.1 在单次代码生成任务（LiveCodeBench、HumanEval+）上胜出，但在多步 agentic 基准（SWE-bench Pro、Terminal-Bench）上输给 dense 9B 的 Qwen3.5-9B。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/13
首次发现
有效期至：2027/1/11
来源
涉及实体
相关事实
待验证JetBrains 自报评测结果：Mellum2.1 在 SWE-bench Verified 得 47.0%、SWE-bench Pro 28.0%、Terminal-Bench 2.1 得 17.4%、LiveCodeBench v6 得 82.0%、HumanEval+ 得 91.5%。69% 相似待验证对标 Qwen3.8-27B，Agens Volundr 32B 在 LiveCodeBench v6（+4.2）、HumanEval（+4.3）、AIME 2025（+2.9）、MATH-500（+1.6）领先64% 相似待验证MoE架构中Mixtral 8x7B模型总参数46.7B,但每个token仅激活约12.9B参数(2个专家),推理成本接近13B参数的稠密模型,性能可媲美70B级别59% 相似待验证Qwen2.5-Coder和DeepSeek-Coder-V2在HumanEval、MBPP等代码基准测试中的表现已非常接近Claude 3.5 Sonnet等顶级闭源模型59% 相似待验证在HumanEval、MBPP、GSM8K等基准测试上，Gemma 7B的表现显著优于同参数量级的LLaMA 2 7B和Mistral 7B59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1016869API
curl https://kongchang.com/api/v1/knowledge/claims/1016869MCP
get_claim(id=1016869)