待验证50% 置信事实精确时间

佐治亚理工学院的研究发现，在智能体多轮对话场景中，历史记录每一轮都要在CPU上重新分词，而GPU因缓存了已见内容负担反而缩小。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/12

首次发现

有效期至：2027/1/10

来源

被忽视的分词瓶颈：CPU如何拖慢大模型推理

涉及实体

佐治亚理工学院company 智能体concept 分词concept

相关事实

已验证当对话历史超出上下文窗口限制时，平台会采用截断、摘要压缩等工程手段来裁剪上下文，这个过程不可避免地丢失细节信息68% 相似待验证生成式推荐通过KV Cache复用（缓存已计算的用户历史序列键值向量）避免重复计算，降低推理延迟并提升GPU利用率67% 相似待验证提示处理阶段对GPU算力（FLOPS）更敏感，而文本生成阶段的瓶颈往往在于内存带宽67% 相似待验证在线客服的上下文丢失往往源于多轮对话中历史记录累积超出模型上下文窗口上限，导致最早内容被截断66% 相似待验证随着交互积累，原始历史记录会超出模型上下文窗口限制，需要定期摘要或分级存储进行记忆压缩66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1012481

API

curl https://kongchang.com/api/v1/knowledge/claims/1012481

MCP

get_claim(id=1012481)