概念top-k sampling / top-k采样
top-k采样
语言模型解码策略,只保留概率最高的k个候选token再从中采样,用于控制生成多样性
时间轴 (近 90 天)
10月14日
核采样与top-k采样是当前LLM解码中最常用的两种启发式策略,其超参数(k或p)是静态的,无法根据上下文复杂度自适应调整。
待验证50%
10月14日
EOS与核采样和top-k采样的根本区别在于:EOS不是通过截断分布来控制质量,而是通过信息论约束下的熵最大化来动态调节温度,且有在线学习理论保证。
待验证50%
9月11日
温度参数、top-k 采样、nucleus 采样等生成策略都是对概率分布进行调控的手段
待验证50%
9月5日
常见的采样策略包括top-k采样(只保留概率最高的k个token)、top-p采样(动态选择累积概率刚好超过阈值p的最小token集合)和温度参数(通过缩放logits控制分布尖锐程度)
待验证50%