待验证50% 置信决策规则精确时间

Top-K SAE的K值选择通常在32-256之间，取决于模型规模和分析粒度需求

1

来源数

50%

置信度

长期有效

时效性

2026/8/10

首次发现

来源

VHectorLab 3D：开源3D可视化工具探索LLM潜空间结构

相关事实

待验证Top-K SAE在编码过程中只保留激活值最高的K个特征，其余强制置零，从而强制模型学习稀疏表示64% 相似待验证K2.6每次推理仅使用约3%的总参数，推理成本与32B稠密模型相当62% 相似已验证Top-P（核采样）从累积概率超过阈值P的最小token集合中采样，Top-K仅从概率最高的K个候选中选择61% 相似待验证开发者最终选择KL散度为0.028的变体作为最优解61% 相似待验证2.4万亿参数模型在BF16精度下考虑KV Cache和激活值后实际约需1.4-1.5TB显存60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/728238

API

curl https://kongchang.com/api/v1/knowledge/claims/728238

MCP

get_claim(id=728238)