论文精读·第5期:Agent工具发现的O(k)革命与LLM上下文理解的真假之辨

李博, 这周的论文我大概翻了一遍, 感觉有个很有意思的信号.

你先说说你的感觉, 我猜跟我想的差不多.

就是好多篇都在研究一件事, AI到底是真懂还是装懂.

你的感觉没错. 这周至少三篇都在拷问这个灵魂问题.

那咱先从我最有共鸣的一篇开始. Cartograph, 讲Agent工具发现的.

这篇我强烈推荐. 你做产品肯定被MCP的工具膨胀坑过吧?

被坑惨了. 我们接了几十个工具, 每次调用要把所有定义全塞进去.

上下文一下就爆了, 又慢又贵. 这就是它要解决的问题?

对, 核心就一句话. 从O(n)遍历全目录, 变成O(k)渐进式披露.

翻译成人话, 不再一次性给Agent看全部工具, 而是分层慢慢露.

等一下, 分层怎么分? 它总得知道你要哪个工具吧.

这里有个关键点. 它先排服务器, 再排工具, 两阶段检索.

而且工具描述不是发布者自己吹的, 是部署方签名认证的能力卡.

签名认证, 这不就是给工具发身份证嘛. 用的什么技术?

Ed25519签名. 说白了防止某个工具描述夸大自己抢流量.

那效果呢? 我最关心数字. 到底省了多少.

这个数字会让你倒吸一口气. 二十二个服务器, 三百七十四个工具.

原来要塞四万两千多个token, 现在一次发现只用四百七十五个.

四万多降到四百多? 这也太夸张了吧.

而且准确率还涨了. Top5命中从零点五九提到零点八二.

网关延迟只加了五毫秒, 差不多百分之零点八, 基本无感.

所以对我们做Agent产品的, 这就是能直接抄的方案啊.

总结一句, 工具目录越大, 这种联邦代理加渐进披露就越是刚需.

好, 接下来说说那篇拷问灵魂的, LLM真的理解上下文吗?

这篇提出了一个知识图谱评估框架, 核心是想戳穿一件事.

模型答对问题, 到底是真推理, 还是记住了套路在模式匹配.

可是过去不是有BLEU这些指标吗, 为什么还不够?

重点在这里, BLEU只看表面词有没有对上, 不管逻辑对不对.

他们搞了个S3KG, 把结构和语义两个信号揉成一个分数.

就是不光看答案像不像, 还看背后的知识结构对不对?

对, 还能在三元组层面精确定位模型哪一步推理错了.

九个benchmark上, F1最高比最强基线涨了七点六分.

这个跟Cartograph表面看不搭边, 但你说它俩有关联?

你再想想. 一个是让Agent找对工具, 一个是验模型真理解.

本质都是在做可信度这件事, 别让系统假装自己很行.

这么一说我突然通了. 那再讲一篇轻松点的, SlideLab.

这篇你一定喜欢, 直接把论文变成学术幻灯片, 还免训练.

多智能体自动做PPT? 内容规划配图排版都它包了?

全包. 而且盲测里百分之七十七的人更喜欢它做的.

token还只用最强开源基线的四分之一, 又好又省.

等一下, 它凭什么判断做得好不好? 谁来打分?

这是我最喜欢的点. 他们造了个ConfArena, 模拟会议室.

一页一页评, 还能揪出偷偷改的数字, 掉页, 图变糊.

这不就是给幻灯片配了个挑刺的评委嘛, 太实用了.

所以你看, 又是评估框架. 这周三篇都在教AI怎么被验收.

对啊, 还有那篇XAI合成真实标注的, 也是评估路子.

没错, 它专门造有标准答案的合成数据, 检验解释靠不靠谱.

结果评了九个主流XAI方法, 发现很多解释都名不副实.

所以这周的大趋势, 就是从造能力转向验能力?

总结得漂亮. AI能力涨得太快, 评估反而成了新瓶颈.

对做产品的人也是提醒, 别只盯着模型多强, 得能验证.

所以我的结论是, 下一波红利在可信和可验证这条线上.

好, 这期就聊到这. 李博下周继续给我们挖新趋势.