#表征学习

共 3 篇相关文章

线性探针准确率高是否意味着模型学到了线性表征？最新研究指出这一检验标准过于宽松，随机特征映射也能通过。文章提出反向预测性、谱集中度和OOD泛化三个诊断指标，揭示预训练模型表征几何与线性世界模型的差距。

柏拉图表征假说认为模型会收敛到共同表征，但不同研究结论矛盾。本文介绍格表征假说（LRH）与亚里士多德表征假说（ARH），解析邻域重叠、中心化核对齐等判据在格结构中的位置差异，并说明该框架如何统一多种表征假说及其证据。

arXiv 新论文提出有损压缩文本自编码器，通过时间轴残差缩放和离散瓶颈实现文本压缩。在网页文本上达到2.24 bits per byte，与无损压缩持平并保留良好语义与下游任务性能。