DIAYN
DIAYN（Diversity Is All You Need）是一种无监督技能发现框架，通过训练判别器最大化技能与状态轨迹之间的互信息，使智能体在无外部奖励情况下自主涌现多样化行为技能。
Timeline (last 90 days)
DIAYN（Diversity Is All You Need）是一种无监督技能发现框架，通过最大化技能与状态轨迹之间的互信息来涌现多样行为，不依赖外部奖励
DIAYN训练一个判别器q_φ(z|s)，根据状态s推断技能编号z，策略的内在奖励定义为判别器的对数概率log q_φ(z|s)
当动作幅度趋近于零时，不同技能的状态轨迹难以区分，判别器梯度消失，形成恶性循环导致技能学习崩溃
在强化学习中，更长的训练时间不等于更好的结果，SAC与DIAYN组合存在策略坍塌风险，性能峰值往往出现在训练中段
DIAYN内在奖励尺度若与SAC熵项量级不匹配会导致一方主导优化，应适当缩放判别器奖励使两者量级相当
Classic skill discovery methods such as the Options Framework decompose policies into two levels: high-level option selection and low-level option execution; DIAYN and VALOR unsupervisedly emerge skills by maximizing information-theoretic objectives for skill diversity.
All Facts (6)
DIAYN（Diversity Is All You Need）是一种无监督技能发现框架，通过最大化技能与状态轨迹之间的互信息来涌现多样行为，不依赖外部奖励
50%UnverifiedDIAYN训练一个判别器q_φ(z|s)，根据状态s推断技能编号z，策略的内在奖励定义为判别器的对数概率log q_φ(z|s)
50%Unverified当动作幅度趋近于零时，不同技能的状态轨迹难以区分，判别器梯度消失，形成恶性循环导致技能学习崩溃
50%Unverified在强化学习中，更长的训练时间不等于更好的结果，SAC与DIAYN组合存在策略坍塌风险，性能峰值往往出现在训练中段
50%UnverifiedDIAYN内在奖励尺度若与SAC熵项量级不匹配会导致一方主导优化，应适当缩放判别器奖励使两者量级相当
50%UnverifiedClassic skill discovery methods such as the Options Framework decompose policies into two levels: high-level option selection and low-level option execution; DIAYN and VALOR unsupervisedly emerge skills by maximizing information-theoretic objectives for skill diversity.
50%