Learn Then Test
Angelopoulos等人提出的基于多重假设检验的阈值选择框架，将所有候选阈值视为待检验假设，利用有限样本p值构造方法计算风险上界，通过FDR控制程序筛选满足风险预算的阈值集合
时间轴 (近 90 天)
在测试风险可定义的设置中，朴素的阈值选择基线有大约一半的情况会超过目标风险水平，而Learn Then Test（LTT）方法只有7.8%的情况超标。
Learn Then Test（LTT）是Angelopoulos等人提出的一种基于多重假设检验的阈值选择框架，其核心思想是将所有候选阈值视为一组待检验的假设，利用有限样本下的p值构造方法计算每个阈值对应的风险上界，再通过FDR控制程序一次性筛选出满足风险预算的阈值集合。
LTT不依赖概率分数恰好准确这一前提，而是给出有限样本下成立的风险保证：只要候选阈值集合事先固定，LTT选出的阈值在真实分布上超出目标风险的概率就被严格控制。
对LLM工程实践的启示包括：不要直接把模型输出的概率当作决策置信度使用；在无法转交人工的场景里应当显式设计保守回退策略；阈值选择需要统计保证。
全部知识事实 (4)
在测试风险可定义的设置中，朴素的阈值选择基线有大约一半的情况会超过目标风险水平，而Learn Then Test（LTT）方法只有7.8%的情况超标。
50%待验证Learn Then Test（LTT）是Angelopoulos等人提出的一种基于多重假设检验的阈值选择框架，其核心思想是将所有候选阈值视为一组待检验的假设，利用有限样本下的p值构造方法计算每个阈值对应的风险上界，再通过FDR控制程序一次性筛选出满足风险预算的阈值集合。
50%待验证LTT不依赖概率分数恰好准确这一前提，而是给出有限样本下成立的风险保证：只要候选阈值集合事先固定，LTT选出的阈值在真实分布上超出目标风险的概率就被严格控制。
50%待验证对LLM工程实践的启示包括：不要直接把模型输出的概率当作决策置信度使用；在无法转交人工的场景里应当显式设计保守回退策略；阈值选择需要统计保证。
50%