概念核采样 / Nucleus Sampling / Top-K采样
Top-P采样
大语言模型推理中控制输出多样性的采样策略，Top-P（核采样）从累积概率超过阈值P的候选词中采样，Top-K从概率最高的K个候选词中采样，二者均用于平衡生成质量与多样性
时间轴 (近 90 天)
9月10日
采样逻辑(Top-K、Top-P、Softmax)在CPU上执行,由于只处理单个概率向量(约200KB数据),耗时通常小于5ms
待验证50%
大语言模型推理中控制输出多样性的采样策略，Top-P（核采样）从累积概率超过阈值P的候选词中采样，Top-K从概率最高的K个候选词中采样，二者均用于平衡生成质量与多样性
采样逻辑(Top-K、Top-P、Softmax)在CPU上执行,由于只处理单个概率向量(约200KB数据),耗时通常小于5ms