概念deferred loading
延迟加载
延迟加载是一种工具调用优化策略,不在首轮请求中暴露全部工具定义,而是让模型通过元工具检索或声明所需能力,由运行时动态注入相关工具 schema,从而缩小决策面并节省 token
时间轴 (近 90 天)
10月24日
Anthropic 建议通过按用户意图对工具分组并配合带延迟加载的 tool search 来应对工具过多的问题,避免一开始就把所有 schema 塞进上下文。
待验证50%
10月18日
延迟加载指不在首轮请求中暴露全部工具定义,而是先让模型通过元工具检索或声明所需能力,再由运行时动态注入相关工具schema。
待验证50%
10月17日
增量索引和延迟加载是缓解大规模代码库建图成本的核心策略,使Beads在大型单体仓库中具备可行性,但延迟加载会带来子图边界的取舍。
待验证50%