Folkbench
专注于 LLM API 中转站稳定性测试与验收方法的团队，提出了从盲测、并发状态码到流状态机三代探针系统的演进方案
时间轴 (近 90 天)
Folkbench把P95延迟、可用性和每token价格按中转站公开，无需注册即可查看。
部分LLM API中转站在上游池耗尽（429/401）、网关超时（504）或节点崩溃时仍返回HTTP 200 OK，导致只看状态码的监控误判为成功。
Folkbench团队针对流式LLM API中转站的生产标准为TTFT < 1.5秒，并需监控P95/P99而非平均值。
Folkbench提出的中转站探针系统经历三代演进：1.0盲测（手动试prompt或手写少量请求）、2.0并发+状态码（用Postman/Locust压测）、3.0流状态机（将中转站视为长连接网络中间盒，多区域探针拆分度量建连、TLS握手、首token到达、token吞吐和SSE解析）。
Folkbench使用的Wilson得分置信下界公式为：Score = (p̂ + z²/(2n) − z·√(p̂(1−p̂)/n + z²/(4n²))) / (1 + z²/n)，其中p̂是观测成功率，n是样本量，z是95%置信度对应的正态分位数。
Folkbench的中转站探针采用多区域部署（AWS美西、GCP东亚香港/东京、欧洲），用于区分中转站卡死与上游波动。
Folkbench建议选中转站前不要只测一次，至少连续采样昼夜3–7天，重点看21:00–01:00高峰时段的P95和成功率。
Folkbench针对同一模型对各中转商按统一公开指标（可用性、响应时间、价格）排名，标注检测时间，缺失数据保持可见，并将商业投放与排名顺序分开
全部知识事实 (8)
Folkbench把P95延迟、可用性和每token价格按中转站公开，无需注册即可查看。
50%待验证部分LLM API中转站在上游池耗尽（429/401）、网关超时（504）或节点崩溃时仍返回HTTP 200 OK，导致只看状态码的监控误判为成功。
50%待验证Folkbench团队针对流式LLM API中转站的生产标准为TTFT < 1.5秒，并需监控P95/P99而非平均值。
50%待验证Folkbench提出的中转站探针系统经历三代演进：1.0盲测（手动试prompt或手写少量请求）、2.0并发+状态码（用Postman/Locust压测）、3.0流状态机（将中转站视为长连接网络中间盒，多区域探针拆分度量建连、TLS握手、首token到达、token吞吐和SSE解析）。
50%待验证Folkbench使用的Wilson得分置信下界公式为：Score = (p̂ + z²/(2n) − z·√(p̂(1−p̂)/n + z²/(4n²))) / (1 + z²/n)，其中p̂是观测成功率，n是样本量，z是95%置信度对应的正态分位数。
50%待验证Folkbench的中转站探针采用多区域部署（AWS美西、GCP东亚香港/东京、欧洲），用于区分中转站卡死与上游波动。
50%待验证Folkbench建议选中转站前不要只测一次，至少连续采样昼夜3–7天，重点看21:00–01:00高峰时段的P95和成功率。
50%待验证Folkbench针对同一模型对各中转商按统一公开指标（可用性、响应时间、价格）排名，标注检测时间，缺失数据保持可见，并将商业投放与排名顺序分开
50%