#信息论

共 8 篇相关文章

LLM解码中温度采样常为静态启发式方法，本文解读一篇从信息论出发提出的在线温度采样算法EOS，分析其如何通过在线估计全局最优温度抑制重复生成，并给出理论性能保证与实验验证。

论文《Verification with Transfer》用列表率失真函数精确刻画验证迁移的信息前沿与调用代价，给出精确/噪声验证器下的分岔结论、F₂ 线性源库闭式解，并在 Lean 4 中机器验证。

从信息论角度审计循环神经网络，解离隐藏状态中的瞬时信息与训练后固化的持久参数记忆，探讨其对可解释性、持续学习与架构设计的启示。

AI视频生成能否以更少算力达到物理仿真级真实感？本文从香农信源编码定理出发，剖析熵、算法复杂度与生成模型的本质区别，解释AI节省算力的真正来源与边界。

arXiv新论文证明可通过评估条件互信息（eCMI）恢复VC类的最优PAC保证，构造的随机化Majority-of-5算法实现O(d)量级信息复杂度，弥合了信息论与经典学习理论的鸿沟。

gzip 这个通用压缩算法能否充当语言模型？本文从香农信息论出发，解析压缩与预测的本质等价关系，探讨 gzip 文本分类实验的启示，以及"压缩即智能"这一命题对理解大语言模型的深层价值。

从Reddit热帖「让石头思考」出发，探讨生成式AI的信息论本质：为何压缩等价于理解，巴别图书馆式的可能性空间思辨，以及语义压缩、Hutter Prize与AI原理的深层联系。

arXiv新论文用率失真理论揭示大语言模型事实幻觉的第二个来源：有限记忆下的压缩失真。文章解析覆盖—压缩模型、误差下界公式及其对检索增强、弃答等实践的启示。