Unverified50% confidenceFactExact time
Qwen2采用Yarn外推与双块注意力（DCA）组合方案提升长序列能力，后训练采用离线DPO加在线DPO的组合
1
Sources
50%
Confidence
Long-term
Relevance
7/22/2026
First Seen
Sources
Related Claims
UnverifiedQwen 2.5系列训练数据超过18万亿Token，采用Transformer解码器架构并引入分组查询注意力（GQA）机制68% similarVerifiedDQN引入了经验回放和目标网络两项关键创新，前者打破时序数据强相关性使训练稳定，后者避免训练震荡与发散68% similarVerifiedDPO（直接偏好优化）等对齐算法在降低训练成本的同时提升了模型在开放式指令下的表现一致性67% similarUnverified通过RLHF、DPO等轻量级对齐技术可实现快速迭代，无需每次都从头预训练65% similarUnverified后训练优化包括指令微调、RLHF或DPO策略调整、系统提示词工程改进及工具调用和多模态融合能力强化64% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/585438API
curl https://kongchang.com/api/v1/knowledge/claims/585438MCP
get_claim(id=585438)