共 2 篇相关文章
新研究量化了自然梯度下降（NGD）的低效程度，通过低效比率 R 揭示三种机制：二次势函数族 R=1 精确最优、偏度有界族维度无关有界、尺度族乘积则呈 Θ(√log d) 无界增长，并转化为实际计算成本。
arXiv 新论文提出"锚点散度"方法，通过连接对比学习、指数族与信息几何，让固定的向量表示适应上下文相关的语义几何，在检索任务上验证了有效性。本文解读其核心思想与应用价值。
