待验证50% 置信事实精确时间

Qwen2采用Yarn外推与双块注意力（DCA）组合方案提升长序列能力，后训练采用离线DPO加在线DPO的组合

1

来源数

50%

置信度

长期有效

时效性

2026/7/22

首次发现

来源

Qwen六代进化史：从架构创新到推理竞赛的完整拆解

相关事实

待验证Qwen 2.5系列训练数据超过18万亿Token，采用Transformer解码器架构并引入分组查询注意力（GQA）机制68% 相似已验证DQN引入了经验回放和目标网络两项关键创新，前者打破时序数据强相关性使训练稳定，后者避免训练震荡与发散68% 相似已验证DPO（直接偏好优化）等对齐算法在降低训练成本的同时提升了模型在开放式指令下的表现一致性67% 相似待验证通过RLHF、DPO等轻量级对齐技术可实现快速迭代，无需每次都从头预训练65% 相似待验证后训练优化包括指令微调、RLHF或DPO策略调整、系统提示词工程改进及工具调用和多模态融合能力强化64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/585438

API

curl https://kongchang.com/api/v1/knowledge/claims/585438

MCP

get_claim(id=585438)