This entity does not have a full profile yet. Below are related knowledge claims.
对话摘要记忆通过LLM将历史交互压缩为摘要,每当新消息加入时摘要会被迭代更新
在生产环境中建议批量触发摘要(如设置20条缓冲区,超出后一次性摘要10条)而非逐条摘要,以减少LLM调用次数
对话摘要记忆中每次更新摘要通常会额外增加100-500ms的响应延迟