大语言模型的采样参数,从概率最高的词开始累加直到累积概率达到P值,只从该子集中采样
Top-P(核采样)从累积概率超过阈值P的最小token集合中采样,Top-K仅从概率最高的K个候选中选择
Coze的Top-P核采样机制是从最高概率的词开始累加,直到累积概率达到设定的P值,只从这些词中采样