待验证50% 置信基准精确时间

单独启用no_repeat_ngram_size: 3时，Llama 3.2 1B的JSON合格率为1/24（4%），SmolLM2 360M为0/24（0%），是导致JSON输出崩溃的主要原因

1

来源数

50%

置信度

长期有效

时效性

2026/10/17

首次发现

来源

一个采样设置，如何让LLM的JSON输出合格率从75%暴跌到4%

涉及实体

Llama 3.2 1Bmodel SmolLM2 360Mmodel no_repeat_ngram_sizeconcept

相关事实

待验证R9700在JSON任务上的中位解码速度达到153.1 tok/s62% 相似待验证在LLM顺序解码阶段，流水线并行集群交换的是激活张量而非模型权重；以隐藏维度d=3584为例，FP32精度下每token约14.3KB，动态量化为对称INT8后在网络上只有5.1KB每跳。59% 相似待验证NVFP4实际约为3.75bit，并非严格意义上的4bit量化55% 相似待验证LLM自回归生成的解码阶段算术强度极低：以7B参数FP16模型为例，一次前向传播需加载约14GB权重但仅执行约14 GFLOPs运算，算术强度约1 FLOP/Byte，属于带宽受限工作负载55% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1056264

API

curl https://kongchang.com/api/v1/knowledge/claims/1056264

MCP

get_claim(id=1056264)