待验证50% 置信解决方案精确时间

在 int8 推理中，per-input 激活量化在所有行之间摊薄，符号扩展点积使用 vpmovsxbw、vpmaddwd 和 4 个累加器，注意力使用 AVX2，exp 走七次多项式。

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

MIT作者打造2MB模型：跑进CPU L3缓存，单核3405 tok/s

涉及实体

CoreFlowproduct AVX2concept int8concept

相关事实

待验证在硬件层面，Prefill（输入）阶段可以并行读取所有Token并同时计算自注意力矩阵，而Decode（输出）阶段因自回归机制需逐字串行推理，导致GPU利用率骤降63% 相似待验证传统推测解码算法无论场景难易都固定草拟5-6个字符，导致算力浪费61% 相似待验证位置编码（Positional Encoding）通过给每个词附加位置信息，解决注意力机制本身无序、不知道词先后顺序的问题61% 相似待验证文本经Embedding模型编码为768至3072维的浮点向量，存入向量数据库后通过近似最近邻算法（HNSW、IVF等）在毫秒级完成相似度检索61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1006043

API

curl https://kongchang.com/api/v1/knowledge/claims/1006043

MCP

get_claim(id=1006043)