待验证50% 置信事实精确时间

KTO、ORPO、SimPO 等 DPO 变体进一步放宽了对成对数据或参考模型的要求。

1

来源数

50%

置信度

长期有效

时效性

2026/10/14

首次发现

来源

NeurIPS 2026 9094篇论文揭示：智能体、强化学习微调与小模型成学习新方向

涉及实体

KTOconcept ORPOconcept SimPOconcept DPOconcept

相关事实

待验证DPO之后社区涌现出SimPO、ORPO、KTO等一系列变体80% 相似待验证DPO的本质是让模型学会判断哪个回答更好，并不直接约束模型自主生成那个更好的回答。68% 相似待验证微调后的模型可通过DPO（直接偏好优化）进行对齐，确保输出符合业务安全规范67% 相似待验证Meta 的 Llama 3 系列及众多开源模型的对齐训练广泛采用 DPO 及其变体（如 IPO、KTO）66% 相似待验证DPO利用策略模型与参考模型的对数概率差作为隐式奖励，使模型在保持与参考模型接近的同时提高对更优回答的生成概率。66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1025168

API

curl https://kongchang.com/api/v1/knowledge/claims/1025168

MCP

get_claim(id=1025168)