PUCT
一种结合策略网络先验预测的树搜索策略,用于指导搜索向更有希望的分支扩展,常见于 AlphaZero 系列算法
Timeline (last 90 days)
PUCT(Predictive Upper Confidence bound applied to Trees)是 AlphaZero 系列算法中使用的一种树搜索策略,全称为 Predictor + UCT。
PUCT 在每次选择节点时,除了利用 UCT 的探索-利用权衡项,还引入了一个基于策略网络的先验预测项,用来指导搜索往更有希望的分支扩展。
在 TTT 与搜索耦合的场景中,PUCT 搜索不是一次性完成的,而会在每个训练 step 后继续扩展,因此搜索树本身(哪些节点被访问、访问次数、价值估计等)构成必须被持久化的状态。
TTT-Discover 在重启时使用配对状态——档案和模型版本必须互相匹配;如果某一步缺失或不匹配,则 fail closed,不会悄悄用一份更新的检查点去启动 PUCT 搜索。
All Facts (4)
PUCT(Predictive Upper Confidence bound applied to Trees)是 AlphaZero 系列算法中使用的一种树搜索策略,全称为 Predictor + UCT。
50%UnverifiedPUCT 在每次选择节点时,除了利用 UCT 的探索-利用权衡项,还引入了一个基于策略网络的先验预测项,用来指导搜索往更有希望的分支扩展。
50%Unverified在 TTT 与搜索耦合的场景中,PUCT 搜索不是一次性完成的,而会在每个训练 step 后继续扩展,因此搜索树本身(哪些节点被访问、访问次数、价值估计等)构成必须被持久化的状态。
50%UnverifiedTTT-Discover 在重启时使用配对状态——档案和模型版本必须互相匹配;如果某一步缺失或不匹配,则 fail closed,不会悄悄用一份更新的检查点去启动 PUCT 搜索。
50%