待验证50% 置信基准精确时间

微调时TVP相比公开的DFlash2训练方案提升了6.2%到12.9%的接受长度。

1

来源数

50%

置信度

长期有效

时效性

2026/11/3

首次发现

来源

TVP损失函数：投机解码中TV距离的潜力与改进

涉及实体

TVP损失函数concept DFlash2concept

相关事实

待验证在NVIDIA GB200平台上，密集SiLU任务完整训练步吞吐提升2.7%，tanh软封顶注意力提升2.9%68% 相似待验证在训练早期，低TVS和高TVS条目的学习速度相似；随着训练推进，高TVS条目进步更快。67% 相似待验证对于使用学习率调度器的DPO训练流程，峰值学习率与预热步数也需要随模型规模相应调整。66% 相似待验证N-LSA 在 128k token 上下文下达到与全注意力相当的精度，同时单层训练速度提升 1.6 倍。65% 相似待验证点版本升级通过监督微调（SFT）、强化学习人类反馈（RLHF）或直接偏好优化（DPO）等后训练技术进行，成本低于全新预训练65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1129370

API

curl https://kongchang.com/api/v1/knowledge/claims/1129370

MCP

get_claim(id=1129370)