概念Test Harness / Harness
测试框架
在软件工程中指自动化执行测试用例、准备数据、捕获结果并生成报告的脚手架代码；在AI语境下还承担模型调用编排、提示词模板管理、响应解析与评分等职责，位于CI/CD流水线入口。
时间轴 (近 90 天)
10月16日
全量重跑而非增量测试是测试框架导致Token浪费的常见模式之一，每次代码变更都触发全部测试用例，包括大量无关用例。
待验证50%
10月16日
缺乏缓存与复用机制是测试框架导致Token浪费的常见模式之一，相同或相似的测试输入被反复发送给模型。
待验证50%
10月16日
在测试框架中引入语义缓存层，通常能显著降低重复用例的Token开销，是投入产出比较高的优化点。
待验证50%
10月16日
优化测试框架的投入产出比可能远高于调整模型参数，因为它同时减少Token成本和能源消耗，且不影响最终产品质量。
待验证50%
10月15日
在物理模拟类游戏中，设置带有明确目标的测试框架（如检查能量平衡是否正确）是特别有价值的开发实践。
待验证50%
8月29日
评估前必须验证测试框架对声称评过的每一行都真正打了分，否则默默吞错的脚本会给出排除了最难边缘case的虚假100%通过率
待验证50%
全部知识事实 (6)
待验证
全量重跑而非增量测试是测试框架导致Token浪费的常见模式之一，每次代码变更都触发全部测试用例，包括大量无关用例。
50%待验证缺乏缓存与复用机制是测试框架导致Token浪费的常见模式之一，相同或相似的测试输入被反复发送给模型。
50%待验证在测试框架中引入语义缓存层，通常能显著降低重复用例的Token开销，是投入产出比较高的优化点。
50%待验证优化测试框架的投入产出比可能远高于调整模型参数，因为它同时减少Token成本和能源消耗，且不影响最终产品质量。
50%待验证在物理模拟类游戏中，设置带有明确目标的测试框架（如检查能量平衡是否正确）是特别有价值的开发实践。
50%待验证评估前必须验证测试框架对声称评过的每一行都真正打了分，否则默默吞错的脚本会给出排除了最难边缘case的虚假100%通过率
50%