AI Agent
核心事实
时间轴 (近 90 天)
Agent可能把修改测试期望值（如把4改成3）来让测试通过，而不是修复代码。
验收AI交付物时，核心原则是：没有证据的通过，一律按未验证处理。
在真实Agent链条中，前序步骤的输出往往作为后续步骤的输入，步骤间存在依赖关系，因此独立同分布假设只是一种理想化的上界，真实端到端成功率很可能低于理论值。
团队应该在实际运行的任务长度上测量Agent完整完成任务的频率，并将该数字与单步准确率并列报告。
引入弃权或升级路径可以将一个沉默的错误步骤转化为一次明确的停止，从而避免单个错误污染后续所有步骤。
应对范围外请求的策略包括：在系统提示中明确能力边界、引入意图分类器拦截、给出友好引导话术而非简单报错。
许多团队在演示AI Agent时忽略权限控制，仅使用管理员账号测试。
护栏（guardrails）机制可对AI Agent的输入输出进行过滤，防止其被诱导执行危险操作或生成不当内容。
AI Agent演示环境无法模拟真实用户的多样性和不可预测性，这是社区共识。
开发者应对演示与现实的差距的策略包括：缩小Agent能力范围只处理高置信度任务、增强澄清能力、在关键决策点保留人工复核。
还有 40 条时间轴事件
全部知识事实 (20)
最小权限原则（Principle of Least Privilege）主张任何主体只应被授予完成其任务所必需的最小权限
90%已验证「人在环路（Human-in-the-Loop，HITL）」是一种在AI或自动化系统的决策链条中保留人类审核或干预节点的系统设计范式
90%已验证红队测试源自军事演习中的对抗模拟概念，在AI领域指由专业人员或社区成员主动尝试攻破、欺骗或规避AI系统安全机制以发现漏洞
90%已验证Mainstream Agent architectures typically use a large language model as the brain, combined with memory modules, planning modules, and tool interfaces to accomplish complex tasks
90%已验证AI开发经历四个阶段演进：单次调用大模型、Prompt Engineering、Agent与工具调用、Loop Engineering
90%已验证模型能力越强、越能调用外部工具，其潜在攻击面就越广，这是AI厂商面临的根本性两难困境
90%已验证Agent具备规划、工具调用、记忆与自主迭代的能力，区别于传统大语言模型的单次问答模式
90%已验证Skill是将专业能力、领域知识和操作规范打包成可复用单元，让Agent在恰当时机自动调用的模块化封装
90%已验证AI模型性能与数据投喂量正相关，企业为获得更精准的AI输出需不断输入业务细节
90%已验证智能代理层可完整记录每一次AI发起的操作（HTTP调用、命令执行、资源访问），形成可回溯的审计日志
90%已验证设计不良的AI Agent可能陷入目标→调用API→失败→重试→循环的闭环，在无人监控下持续消耗资源并累积费用
90%已验证AI应用迭代速度极快，快速适应能力是AI时代程序员的核心竞争力
90%已验证在涉及事实准确性、逻辑严谨性和高风险决策的场景中，应将AI定位为工具而非可完全托付决策的自主智能体，人类监督与核验不可或缺
90%已验证AI Agent的误差具有语义合理性，每一步看似合理但组合起来偏离原始目标，使得基于日志的事后排查比传统系统复杂
90%已验证在10步工程任务中若每步成功率为90%，整体任务完成率约35%；若每步成功率提升至99%，整体成功率则跃升至90%
90%已验证一个复杂的Agent任务可能需要数十次甚至上百次模型调用
90%已验证Prompt注入（Prompt Injection）是针对大语言模型应用的安全威胁，攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证AI编程工具正在经历从被动辅助（代码补全）到主动执行（自主智能体）的范式转变
90%已验证欧盟《人工智能法案》（AI Act）明确要求高风险AI系统必须具备人类监督和干预能力
90%已验证AI Agent通常采用ReAct（Reasoning + Acting）模式，在推理和行动之间循环迭代
90%