DIAYN
DIAYN（Diversity Is All You Need）是一种无监督技能发现框架，通过训练判别器最大化技能与状态轨迹之间的互信息，使智能体在无外部奖励情况下自主涌现多样化行为技能。
时间轴 (近 90 天)
DIAYN（Diversity Is All You Need）是一种无监督技能发现框架，通过最大化技能与状态轨迹之间的互信息来涌现多样行为，不依赖外部奖励
DIAYN训练一个判别器q_φ(z|s)，根据状态s推断技能编号z，策略的内在奖励定义为判别器的对数概率log q_φ(z|s)
当动作幅度趋近于零时，不同技能的状态轨迹难以区分，判别器梯度消失，形成恶性循环导致技能学习崩溃
在强化学习中，更长的训练时间不等于更好的结果，SAC与DIAYN组合存在策略坍塌风险，性能峰值往往出现在训练中段
DIAYN内在奖励尺度若与SAC熵项量级不匹配会导致一方主导优化，应适当缩放判别器奖励使两者量级相当
经典技能发现方法如 Options Framework 将策略分解为高层选项选择与低层选项执行两个层级；DIAYN、VALOR 通过最大化技能多样性的信息论目标无监督涌现技能
全部知识事实 (6)
DIAYN（Diversity Is All You Need）是一种无监督技能发现框架，通过最大化技能与状态轨迹之间的互信息来涌现多样行为，不依赖外部奖励
50%待验证DIAYN训练一个判别器q_φ(z|s)，根据状态s推断技能编号z，策略的内在奖励定义为判别器的对数概率log q_φ(z|s)
50%待验证当动作幅度趋近于零时，不同技能的状态轨迹难以区分，判别器梯度消失，形成恶性循环导致技能学习崩溃
50%待验证在强化学习中，更长的训练时间不等于更好的结果，SAC与DIAYN组合存在策略坍塌风险，性能峰值往往出现在训练中段
50%待验证DIAYN内在奖励尺度若与SAC熵项量级不匹配会导致一方主导优化，应适当缩放判别器奖励使两者量级相当
50%待验证经典技能发现方法如 Options Framework 将策略分解为高层选项选择与低层选项执行两个层级；DIAYN、VALOR 通过最大化技能多样性的信息论目标无监督涌现技能
50%