推理时搜索

推理时搜索不更新生成模型参数，因此不会引入训练不稳定性，也便于快速切换优化目标。

推理时搜索的代价是推理成本上升，因为需要生成和评估多个候选。

文章未给出推理时搜索算力开销随候选数量缩放的完整成本曲线。

在基于采样的推理方法中，如何定义和度量多样性仍然是一个开放话题。