[控场AI]
模型Q64

Q64

一种基于冻结大模型主干的候选打分系统,通过复用前缀状态和联合训练读出网络实现高效文档问答

时间轴 (近 90 天)

11月4日

Q64 是一个候选打分系统,其设计为将 64 层 Qwen3.8-27B 文本主干完全冻结,复用混合前缀状态和中间文档表示,并联合训练残差适配器、四层解码器和以候选答案为条件的读出网络。

待验证50%
11月4日

Q64 的延迟收益主要来自前缀状态复用,且该收益只在“一文档多问题”负载中出现,单问题请求无法摊薄首次计算成本。

待验证50%
11月4日

最终适配阶段只更新 8866 万个参数,训练数据为 8,192 个精选视图。

待验证50%
11月4日

ZiYor 是一个自进化的 AI 系统,作者用它来探索和细化 Q64 的设计,但最终打分方法、系统实现和评估由人工完成并验证。

待验证50%
11月4日

联合适配将四基准宏平均准确率从 66.46% 提升到 74.32%。

待验证50%
11月4日

Q64 的 74.32% 准确率仍低于原生 27B 基线的 75.68%,也低于 AnyJev Qwen3-32B L0 的 76.68%。

待验证50%
11月4日

原文对 Q64 准确率结果的定性是:证据支持的是一个准确率—延迟的权衡,而不是主干缩减或孤立组件的优势。

待验证50%
11月4日

延迟数据来自一个单独的合成负载:4,096 个文档 token、50 个问题。Q64 的中位冷请求延迟是 2.237 秒,原生基线为 5.383 秒,批处理 AnyJev 配置为 56.872 秒。

待验证50%
11月4日

Q64 的适用面有明确前提,即“同一文档、多个问题”的重复决策负载;短的单问题请求并不共享前缀复用优势,适配层可能带来额外开销。

待验证50%
11月4日

公开基准只用于早期开发阶段,真实文档上的多问题验证仍然开放。

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

待验证

Q64 是一个候选打分系统,其设计为将 64 层 Qwen3.8-27B 文本主干完全冻结,复用混合前缀状态和中间文档表示,并联合训练残差适配器、四层解码器和以候选答案为条件的读出网络。

50%
待验证

Q64 的延迟收益主要来自前缀状态复用,且该收益只在“一文档多问题”负载中出现,单问题请求无法摊薄首次计算成本。

50%
待验证

最终适配阶段只更新 8866 万个参数,训练数据为 8,192 个精选视图。

50%
待验证

ZiYor 是一个自进化的 AI 系统,作者用它来探索和细化 Q64 的设计,但最终打分方法、系统实现和评估由人工完成并验证。

50%
待验证

联合适配将四基准宏平均准确率从 66.46% 提升到 74.32%。

50%
待验证

Q64 的 74.32% 准确率仍低于原生 27B 基线的 75.68%,也低于 AnyJev Qwen3-32B L0 的 76.68%。

50%
待验证

原文对 Q64 准确率结果的定性是:证据支持的是一个准确率—延迟的权衡,而不是主干缩减或孤立组件的优势。

50%
待验证

延迟数据来自一个单独的合成负载:4,096 个文档 token、50 个问题。Q64 的中位冷请求延迟是 2.237 秒,原生基线为 5.383 秒,批处理 AnyJev 配置为 56.872 秒。

50%
待验证

Q64 的适用面有明确前提,即“同一文档、多个问题”的重复决策负载;短的单问题请求并不共享前缀复用优势,适配层可能带来额外开销。

50%
待验证

公开基准只用于早期开发阶段,真实文档上的多问题验证仍然开放。

50%
待验证

Q64 的工程价值在于给出一种可复用的系统范式:冻结主干、复用前缀状态、在读出层做联合适配,用少量可训练参数换取多问题场景下的延迟收益。

50%

来源文章