Q64
一种基于冻结大模型主干的候选打分系统,通过复用前缀状态和联合训练读出网络实现高效文档问答
时间轴 (近 90 天)
Q64 是一个候选打分系统,其设计为将 64 层 Qwen3.8-27B 文本主干完全冻结,复用混合前缀状态和中间文档表示,并联合训练残差适配器、四层解码器和以候选答案为条件的读出网络。
Q64 的延迟收益主要来自前缀状态复用,且该收益只在“一文档多问题”负载中出现,单问题请求无法摊薄首次计算成本。
最终适配阶段只更新 8866 万个参数,训练数据为 8,192 个精选视图。
ZiYor 是一个自进化的 AI 系统,作者用它来探索和细化 Q64 的设计,但最终打分方法、系统实现和评估由人工完成并验证。
联合适配将四基准宏平均准确率从 66.46% 提升到 74.32%。
Q64 的 74.32% 准确率仍低于原生 27B 基线的 75.68%,也低于 AnyJev Qwen3-32B L0 的 76.68%。
原文对 Q64 准确率结果的定性是:证据支持的是一个准确率—延迟的权衡,而不是主干缩减或孤立组件的优势。
延迟数据来自一个单独的合成负载:4,096 个文档 token、50 个问题。Q64 的中位冷请求延迟是 2.237 秒,原生基线为 5.383 秒,批处理 AnyJev 配置为 56.872 秒。
Q64 的适用面有明确前提,即“同一文档、多个问题”的重复决策负载;短的单问题请求并不共享前缀复用优势,适配层可能带来额外开销。
公开基准只用于早期开发阶段,真实文档上的多问题验证仍然开放。
还有 1 条时间轴事件
全部知识事实 (11)
Q64 是一个候选打分系统,其设计为将 64 层 Qwen3.8-27B 文本主干完全冻结,复用混合前缀状态和中间文档表示,并联合训练残差适配器、四层解码器和以候选答案为条件的读出网络。
50%待验证Q64 的延迟收益主要来自前缀状态复用,且该收益只在“一文档多问题”负载中出现,单问题请求无法摊薄首次计算成本。
50%待验证最终适配阶段只更新 8866 万个参数,训练数据为 8,192 个精选视图。
50%待验证ZiYor 是一个自进化的 AI 系统,作者用它来探索和细化 Q64 的设计,但最终打分方法、系统实现和评估由人工完成并验证。
50%待验证联合适配将四基准宏平均准确率从 66.46% 提升到 74.32%。
50%待验证Q64 的 74.32% 准确率仍低于原生 27B 基线的 75.68%,也低于 AnyJev Qwen3-32B L0 的 76.68%。
50%待验证原文对 Q64 准确率结果的定性是:证据支持的是一个准确率—延迟的权衡,而不是主干缩减或孤立组件的优势。
50%待验证延迟数据来自一个单独的合成负载:4,096 个文档 token、50 个问题。Q64 的中位冷请求延迟是 2.237 秒,原生基线为 5.383 秒,批处理 AnyJev 配置为 56.872 秒。
50%待验证Q64 的适用面有明确前提,即“同一文档、多个问题”的重复决策负载;短的单问题请求并不共享前缀复用优势,适配层可能带来额外开销。
50%待验证公开基准只用于早期开发阶段,真实文档上的多问题验证仍然开放。
50%待验证Q64 的工程价值在于给出一种可复用的系统范式:冻结主干、复用前缀状态、在读出层做联合适配,用少量可训练参数换取多问题场景下的延迟收益。
50%