#评估方法

共 4 篇相关文章

AI生成的研究摘要读起来流畅，但事实未必可靠。本文基于Reddit讨论，梳理评估AI研究摘要系统的三个核心维度：来源可追溯性、事实一致性与不确定性处理，并探讨其对深度学习从业者的实践意义。

新研究审计33,000条轨迹发现，小工具代理的低提示注入攻击成功率主要反映代理忽略而非拒绝攻击。系统提示变化可使ASR从0.2%升至43%，且21.7%任务中代理安全但未完成用户请求。呼吁更细粒度评估。

当AI Agent从招聘启事、财报、播客等杂乱网络文本中提取购买信号，而真实采购标签要几个月后才出现时，该如何评估其有效性？本文剖析延迟标签、样本偏差与LLM-as-judge自评等核心难题，并梳理代理标签、置信度校准等破局思路。

arXiv新研究通过受控实验拆解LLM harness的答案覆盖率与专业化收益，发现重复执行贡献2.16个百分点，而生成程序的可重复模式主要暴露持续弱点。文章解读其评估方法与对AI推理框架的启示。