PUCT
一种结合策略网络先验预测的树搜索策略,用于指导搜索向更有希望的分支扩展,常见于 AlphaZero 系列算法
时间轴 (近 90 天)
PUCT(Predictive Upper Confidence bound applied to Trees)是 AlphaZero 系列算法中使用的一种树搜索策略,全称为 Predictor + UCT。
PUCT 在每次选择节点时,除了利用 UCT 的探索-利用权衡项,还引入了一个基于策略网络的先验预测项,用来指导搜索往更有希望的分支扩展。
在 TTT 与搜索耦合的场景中,PUCT 搜索不是一次性完成的,而会在每个训练 step 后继续扩展,因此搜索树本身(哪些节点被访问、访问次数、价值估计等)构成必须被持久化的状态。
TTT-Discover 在重启时使用配对状态——档案和模型版本必须互相匹配;如果某一步缺失或不匹配,则 fail closed,不会悄悄用一份更新的检查点去启动 PUCT 搜索。
全部知识事实 (4)
PUCT(Predictive Upper Confidence bound applied to Trees)是 AlphaZero 系列算法中使用的一种树搜索策略,全称为 Predictor + UCT。
50%待验证PUCT 在每次选择节点时,除了利用 UCT 的探索-利用权衡项,还引入了一个基于策略网络的先验预测项,用来指导搜索往更有希望的分支扩展。
50%待验证在 TTT 与搜索耦合的场景中,PUCT 搜索不是一次性完成的,而会在每个训练 step 后继续扩展,因此搜索树本身(哪些节点被访问、访问次数、价值估计等)构成必须被持久化的状态。
50%待验证TTT-Discover 在重启时使用配对状态——档案和模型版本必须互相匹配;如果某一步缺失或不匹配,则 fail closed,不会悄悄用一份更新的检查点去启动 PUCT 搜索。
50%