人物
Ankur
AI工程领域技术演讲者,专注于智能体生产环境调试与评估体系建设。
时间轴 (近 90 天)
10月18日
现场调查显示,绝大多数人凭感觉验证智能体,配置评估体系的人较少,而自认评估覆盖足够能放心迭代的人寥寥无几。
待验证50%
10月18日
标准智能体改进流程包括:发现生产问题→找到对应Trace→抽样形成数据集→分析根因→设计方案→构建评估→跑实验→上线,然后循环。
待验证50%
10月18日
将Trace数据、已有评估结果、人工标注、APM监控日志和代码库汇聚到编码智能体(如Claude Code、Cursor、Codex)面前,可自动完成大部分排查工作,将原本以天计的过程压缩到分钟级。
待验证50%
10月18日
韩国股票查询案例中,基线通过率为0%,第一轮归一化国家名称无效,更新工具版本后第三轮迭代通过率提升到约90%。
待验证50%
10月18日
评估的核心价值在于防止性能回退,因为提示词可能因模型更新或用户提问方式变化而效果下滑,没有评估则无法感知退化。
待验证50%
全部知识事实 (5)
待验证
现场调查显示,绝大多数人凭感觉验证智能体,配置评估体系的人较少,而自认评估覆盖足够能放心迭代的人寥寥无几。
50%待验证标准智能体改进流程包括:发现生产问题→找到对应Trace→抽样形成数据集→分析根因→设计方案→构建评估→跑实验→上线,然后循环。
50%待验证将Trace数据、已有评估结果、人工标注、APM监控日志和代码库汇聚到编码智能体(如Claude Code、Cursor、Codex)面前,可自动完成大部分排查工作,将原本以天计的过程压缩到分钟级。
50%待验证评估的核心价值在于防止性能回退,因为提示词可能因模型更新或用户提问方式变化而效果下滑,没有评估则无法感知退化。
50%待验证韩国股票查询案例中,基线通过率为0%,第一轮归一化国家名称无效,更新工具版本后第三轮迭代通过率提升到约90%。
50%