强化学习破解单像素成像贝叶斯序贯实验设计难题

单像素成像（Single-Pixel Imaging, SPI）通过一系列二值照明图案对场景进行编码测量，再借助计算重建获得图像。如何从海量的可能图案中序贯地选择最具信息量的测量，是自适应压缩感知的核心挑战。近期一篇工作将这一贝叶斯序贯最优实验设计（sOED）问题重新表述为强化学习（RL）任务，为单像素成像的自适应测量提供了一个可扩展的新思路。

问题本质：在组合爆炸的设计空间中序贯决策

自适应压缩感知的目标是每步选择能最大程度降低不确定性的测量。在贝叶斯框架下，这被形式化为 sOED 问题：给定先验信息和已有测量数据，选择下一个测量以最大化关于未知图像的期望信息增益（Expected Information Gain, EIG）。EIG 是贝叶斯 OED 中衡量不确定性减少最完整的指标。

然而，单像素成像的设计空间由所有可能的二值照明图案构成，规模随像素数指数增长。传统方法直接在此空间上优化贝叶斯 sOED 目标函数，计算上几乎不可行。原文指出，直接优化这一复杂的信息论目标以获得下一个设计，是该方法面临的主要瓶颈。

期望信息增益（EIG） 是贝叶斯最优实验设计中的核心目标函数，定义为在给定当前先验和已有观测的条件下，新测量与未知图像之间的互信息。直观地说，它衡量的是“执行这次测量后，我们平均能减少多少关于图像的不确定性”。EIG 的完整计算需要对图像的后验分布进行积分，通常无法解析求解，需借助蒙特卡洛采样或变分近似。在单像素成像中，由于设计空间是离散的二值图案集合，EIG 的精确评估更加昂贵，这正是传统方法难以直接优化 sOED 目标的根本原因。

组合爆炸的设计空间 指单像素成像中所有可能的二值照明图案总数。若图像有 (N) 个像素，则每个像素对应一个二值掩模位置，可能的图案数为 (2^N)。即使对于 (32\times32) 的小图像，(N=1024)，设计空间规模也达到 (2^{1024})，远超可枚举范围。自适应测量要求每一步从该空间中选出一个图案，序贯决策进一步将问题变为在指数级分支的树中搜索最优路径，传统优化方法因此面临计算不可行性。

强化学习重构：从优化目标到学习策略

该工作的核心洞察是将 sOED 重构为强化学习问题。在 RL 中，智能体通过反复试验学习策略以最大化奖励，此处奖励设为期望信息增益。这一转换的关键优势在于：无需在每次测量时直接求解复杂的信息论优化问题，而是学习一个策略函数，将当前关于图像的后验信念直接映射为下一个最优二值测量图案。

这种策略函数一旦训练完成，推理阶段的计算效率很高，因为它避免了在线优化。原文强调，学习到的策略以计算高效的方式直接输出下一个最优二值图案，这为实时自适应成像提供了可能。

策略函数（Policy Function） 在强化学习中指从状态到动作的映射。在此工作中，状态是当前关于图像的后验信念（通常用均值、方差或样本表示），动作是下一个二值照明图案，策略函数直接输出该图案。与传统的“先估计后验、再在线优化 EIG”不同，策略函数将两步合并为一次前向推理，避免了每次测量时求解复杂的信息论优化问题。策略通常用神经网络参数化，训练时通过模拟序贯测量过程、以 EIG 为奖励进行策略梯度或 Actor-Critic 优化。训练完成后，推理阶段仅需一次网络前传，计算量固定且远低于在线优化，因而适合实时自适应成像。

在线优化与离线学习的计算差异 是理解该方法优势的关键。传统 sOED 在每次测量时都需针对当前后验重新求解一个优化问题，计算成本随测量步数累积；而 RL 方法将计算负担转移到离线训练阶段，在线阶段只做策略推理。这种“一次训练、多次快速推理”的模式在自适应成像中尤为重要，因为成像过程往往要求低延迟。代价是策略的性能受训练分布影响，若真实场景与训练分布差异较大，策略可能次优，因此需要评估其鲁棒性和泛化能力。

可扩展性与鲁棒性评估

研究采用一个简单但具有代表性的单像素成像场景，评估了学习策略在两种不同策略参数化下的可扩展性。这意味着作者关注的是策略网络规模增长时性能如何变化，而非仅报告单一设置下的结果。

更有价值的是对现实退化的考察。实际成像中，后验信息往往只能近似获得，测量也难免受到噪声干扰。原文研究了仅能获取近似后验信息或测量受噪声影响时性能如何退化，并提出了若干受生物医学应用驱动的设计约束引入策略。这些约束在实际系统中往往必须满足（如非负性、硬件可实现性等），将它们纳入策略学习是走向应用的关键一步。

数值实验表明，所提出的贝叶斯 sOED-RL 框架保持鲁棒，并可扩展到更复杂、更大规模的单像素成像场景。

近似后验 指在实际系统中，由于计算或存储限制，无法精确获得图像的后验分布，只能用变分分布、高斯近似或采样粒子等近似表示。在单像素成像的贝叶斯框架中，后验通常高维且非高斯，精确推断不可行。近似后验会引入偏差，影响策略输入的准确性。原文考察近似后验下的性能退化，实质是评估策略对状态表示误差的容忍度。若策略在近似后验下仍能保持较好性能，则说明其鲁棒性较强，更易部署到真实系统。

生物医学应用驱动的设计约束 指在实际生物医学成像中，照明图案或测量过程必须满足的物理与硬件限制，例如光强非负、图案二值化、硬件可快速切换的图案结构等。这些约束缩小了可行动作空间，若策略学习时不加以考虑，学到的图案可能无法在真实设备上实现。原文提出将这些约束引入策略设计，使学习到的策略在满足约束的同时仍追求高信息增益，这是从仿真走向实际应用的必要步骤。

为什么值得关注

单像素成像在低光、非可见波段等场景具有独特优势，但其测量次数直接决定成像速度。自适应测量策略有望在相同测量预算下提升重建质量，或在相同质量下减少测量次数。将 sOED 转化为 RL 问题，绕开了在线信息论优化的计算墙，使策略能够离线学习、在线快速推理，这一思路对更广泛的 adaptive sensing 问题具有借鉴意义。

当然，方法的实际部署仍取决于训练分布与真实场景的匹配程度，以及近似后验带来的偏差能否被策略的鲁棒性吸收。原文的数值实验提供了积极信号，但跨场景泛化仍需进一步验证。

（本文基于论文摘要信息撰写，未包含完整实验细节。）