待验证50% 置信事实精确时间

交叉熵恢复率通过将SAE重建激活替代原始激活输入到模型后续层比较交叉熵损失变化来计算，衡量SAE是否保留对下游计算重要的信息

1

来源数

50%

置信度

长期有效

时效性

2026/8/13

首次发现

来源

HyperSAE：双曲几何如何解决稀疏自编码器死亡潜变量问题

相关事实

待验证语义熵方法在技术实现上通过多次采样获得候选回答、使用NLI模型判断语义等价性聚类、最后计算语义类别上的熵值66% 相似待验证二分类交叉熵损失公式为 -[y·log(p) + (1-y)·log(1-p)]，其中y是真实标签，p是模型预测的正类概率65% 相似待验证模型记忆化程度与数据重复次数高度相关，参数量远超训练数据信息熵时模型倾向于记忆而非泛化64% 相似待验证MemGAS使用熵路由器（Entropy Router）根据查询在不同粒度上相似度分布的熵值来自适应选择最优记忆粒度63% 相似待验证逻辑回归的参数通过最大化对数似然函数（等价于最小化交叉熵损失）来估计62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/742346

API

curl https://kongchang.com/api/v1/knowledge/claims/742346

MCP

get_claim(id=742346)