Replay Cassette
一种用于记录和重放LLM API请求响应的测试工具，通过缓存HTTP交互实现离线测试，确保零成本且可复现。
时间轴 (近 90 天)
开发者花48小时构建了一个“回放磁带”（Replay Cassette）工具，用于录制和离线重放与LLM的交互，以零成本测试Prompt和解析器。
该Replay Cassette工具仅用Python标准库实现，可对接任何HTTP模型端点，不依赖特定厂商SDK。
作者为回放磁带定义了三条契约：回放运行必须零成本；未命中必须大声报错（退出码2并打印指纹）；缓存键必须可解释。
未命中时静默回退到网络请求的缓存会掩盖回归，而回放磁带在未命中时直接报错退出以暴露回归。
存储格式选择追加式JSONL，比反复重写JSON文件更能扛住硬停机，也方便grep和diff。
作者在第27小时发现系统提示词从未进入哈希，因为系统消息由读取环境变量的薄客户端包装器注入，导致两个不同提示词生成同一个缓存键。
流式响应中不应持久化分块边界，因为分块只是传输层产物，提供商可能改变切分方式；应只存储组装后的文本和结束原因，回放时按固定chunk_size重新切分。
作者给出的实战决策规则：塑造Prompt或解析器时录一次回放多次；只改后处理代码时直接回放；对比模型别名时分别录制并按别名做键；检查提供商当前行为时必须真实调用；CI回归门禁用回放；负载或延迟测试用真实调用。
回放磁带回答“我的代码变了吗”，但永远不回答“模型今天好不好”，因为它只是冻结的观察，无法验证质量。
不应把包含用户数据的响应存进磁带，除非有可信的清洗步骤，因为追加式日志极其擅长永久保存秘密。
还有 2 条时间轴事件
全部知识事实 (12)
建议在录制模式下把同一payload发五次并报告返回了几种不同答案，作为“稳定性探针”，以量化改进中的噪声比例。
50%待验证该Replay Cassette工具仅用Python标准库实现，可对接任何HTTP模型端点，不依赖特定厂商SDK。
50%待验证作者为回放磁带定义了三条契约：回放运行必须零成本；未命中必须大声报错（退出码2并打印指纹）；缓存键必须可解释。
50%待验证未命中时静默回退到网络请求的缓存会掩盖回归，而回放磁带在未命中时直接报错退出以暴露回归。
50%待验证存储格式选择追加式JSONL，比反复重写JSON文件更能扛住硬停机，也方便grep和diff。
50%待验证不应把包含用户数据的响应存进磁带，除非有可信的清洗步骤，因为追加式日志极其擅长永久保存秘密。
50%待验证如果一天只调用LLM一次，或者唯一反复问的问题是模型当前是否可达，这套回放磁带工具不值得使用；当有十几个用例、每个要跑几十遍时，它大约两小时就能回本。
50%待验证流式响应中不应持久化分块边界，因为分块只是传输层产物，提供商可能改变切分方式；应只存储组装后的文本和结束原因，回放时按固定chunk_size重新切分。
50%待验证作者给出的实战决策规则：塑造Prompt或解析器时录一次回放多次；只改后处理代码时直接回放；对比模型别名时分别录制并按别名做键；检查提供商当前行为时必须真实调用；CI回归门禁用回放；负载或延迟测试用真实调用。
50%待验证回放磁带回答“我的代码变了吗”，但永远不回答“模型今天好不好”，因为它只是冻结的观察，无法验证质量。
50%待验证作者在第27小时发现系统提示词从未进入哈希，因为系统消息由读取环境变量的薄客户端包装器注入，导致两个不同提示词生成同一个缓存键。
50%待验证开发者花48小时构建了一个“回放磁带”（Replay Cassette）工具，用于录制和离线重放与LLM的交互，以零成本测试Prompt和解析器。
50%