待验证50% 置信观点精确时间
在LLM应用中，可观测性比传统后端更关键，因为失败往往不是抛异常，而是模型安静地做错事；一套完整trace至少需要记录每次模型调用的完整输入输出token、每次工具调用的参数与返回、每步耗时与token消耗以及控制流跳转路径。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
Harness工程：LLM是大脑，Harness是身体
hackernewshackernews2026/10/19
涉及实体
相关事实
待验证若广泛采用对遗漏视而不见的LLM裁判来打分、做基准测试或指导模型训练（如RLHF、RLAIF），整个优化循环可能被误导，模型会学会生成看起来完整实则残缺的内容77% 相似待验证LLM输出具有非确定性，同一输入在不同时间可能产生不同输出，因此评估流水线常用LLM-as-Judge方法用另一个强大模型评判目标模型输出质量75% 相似待验证节点同时做LLM调用和路由判断会导致对同一数据的重复评估或每步多次调用LLM，拖垮Token消耗73% 相似待验证模型漂移可能导致依赖LLM的生产系统下游解析逻辑静默失效，系统不报错但输出偏离预期73% 相似待验证LLM推理具有随机性（受Temperature参数控制），且外部工具调用返回值随时间变化，因此完美的确定性回放需同时录制所有LLM响应和工具返回值73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1068420API
curl https://kongchang.com/api/v1/knowledge/claims/1068420MCP
get_claim(id=1068420)