continuation token
大语言模型超长生成的工程解决方案,当一次生成达到片段上限时返回特殊续写凭证,使客户端可发起下一次请求无缝续写
时间轴 (近 90 天)
通过 Google Interactions API 返回的 continuation token,客户端可在下一轮请求中携带该 token 和更高 token 预算,模型能从断点继续逐字生成。
Argon 默认不会跑满 100 万 token,测试中常在 32K 或 65K token 处停止;通过 interactions API,触及上限时服务器返回 continuation token,客户端可携带该 token 和更高预算从断点继续生成,也可开启 background 模式让服务器自动串联 65K 片段。
Gemini 4 Argon 支持通过 Google Interactions API 的 continuation token 机制,将多个约 6.5 万 token 的片段自动串联,实现高达 100 万 token 的连续输出。
continuation token 机制通过将一次超长生成拆分为多个连贯片段,使「单次响应百万 token」在工程上可行,但要求模型跨片段保持上下文一致性。
全部知识事实 (4)
通过 Google Interactions API 返回的 continuation token,客户端可在下一轮请求中携带该 token 和更高 token 预算,模型能从断点继续逐字生成。
50%待验证Argon 默认不会跑满 100 万 token,测试中常在 32K 或 65K token 处停止;通过 interactions API,触及上限时服务器返回 continuation token,客户端可携带该 token 和更高预算从断点继续生成,也可开启 background 模式让服务器自动串联 65K 片段。
50%待验证Gemini 4 Argon 支持通过 Google Interactions API 的 continuation token 机制,将多个约 6.5 万 token 的片段自动串联,实现高达 100 万 token 的连续输出。
50%待验证continuation token 机制通过将一次超长生成拆分为多个连贯片段,使「单次响应百万 token」在工程上可行,但要求模型跨片段保持上下文一致性。
50%