Concept温度参数
Temperature
Temperature（温度参数）是机器学习与自然语言处理领域中用于控制模型输出随机性的超参数。在语言模型的文本生成过程中，Temperature通过缩放logits来调整概率分布的平滑程度：值越低，输出越确定、集中于高概率选项；值越高，输出越多样、随机性越强。该参数通常取正实数值，广泛应用于采样策略的调控。
Core Facts
Timeline (last 90 days)
Aug 25
高temperature加上缺失的repetition penalty容易导致模型陷入重复循环或生成无意义内容
Unverified50%
Aug 24
水印算法的logit偏置通常在Temperature缩放之后、Top-k/Top-p截断之前施加
Unverified50%
May 31
大语言模型在生成每个token时从概率分布中采样，temperature参数控制随机性的强弱，temperature越高输出越多样，越低则越确定
Verified80%