#非参数贝叶斯

告别参数量依赖：Dirichlet过程实现深度网络无维度PAC-Bayes泛化界

经典PAC-Bayes泛化界随参数量线性增长，在过参数化网络中失效。本文提出用Dirichlet过程将先验从参数空间转移到数据分布空间，利用数据处理不等式得到精确闭式散度，实现严格无维度泛化证书。在MNIST上从7,850到420万参数的架构中，新证书稳定在8.8%-9.4%，而经典界超过940%失效。