待验证50% 置信事实精确时间

Top-K SAE在编码过程中只保留激活值最高的K个特征，其余强制置零，从而强制模型学习稀疏表示

1

来源数

50%

置信度

长期有效

时效性

2026/8/10

首次发现

来源

VHectorLab 3D：开源3D可视化工具探索LLM潜空间结构

相关事实

已验证Top-P（核采样）从累积概率超过阈值P的最小token集合中采样，Top-K仅从概率最高的K个候选中选择68% 相似待验证开发者最终选择KL散度为0.028的变体作为最优解67% 相似待验证Top-K SAE的K值选择通常在32-256之间，取决于模型规模和分析粒度需求64% 相似待验证在MoE模型中每个token只激活少量Expert（通常2-4个，Top-K路由），实际计算量可能仅相当于6-7B的Dense模型64% 相似已验证Kimi K2.7 Code的思维链token使用量相比K2.6减少约30%62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/728236

API

curl https://kongchang.com/api/v1/knowledge/claims/728236

MCP

get_claim(id=728236)