#性能测试

共 8 篇相关文章

开源Rust LLM代理基准测试：200个相同请求合并为1次上游调用，熔断器将宕机期间调用从89降至5次，却发现20个不同请求串行处理耗时30秒的Bug。2.0.3版本已修复，并揭示真实聊天流量中精确去重仅节省1.5%的真相。

纯CPU环境下对比新旧两个llama.cpp构建运行Gemma模型的实测性能：生成速度提升9.1%但预填充慢6.5%，还发现按需加载模型等新特性，为无GPU本地部署大模型提供参考。

选购LLM API中转商前必看的5项核心指标清单：对等比较、可用性、P95延迟、时间戳、缺失数据处理，并附可直接运行的Python探测脚本，帮你用数据而非感觉挑选可靠的API服务商。

国外博主自建LLM测试框架实测本地大模型集群，揭穿tokens-per-second跑分的误导性。本文拆解本地大模型该测的四个真实指标、Ollama测试陷阱与五个实测意外，教你用测量结果而非厂商幻灯片做部署决策。

NVIDIA推出的AIPerf是一款面向大规模LLM推理的性能基准测试工具。本文解析为何单发请求无法评估真实性能，以及吞吐量、TTFT、ITL等关键指标在生产环境中的意义。

GitHub Action ONES Performance更新至v1.0.6，这是一款集成在GitHub Actions中的性能监测CI/CD工具，帮助开发团队在持续集成流程中自动化执行性能基准测试，及时发现性能回退问题。

Gatling官方发布GitHub Action v1.0.1版本，支持在CI/CD流水线中自动触发性能测试。本文介绍Gatling Enterprise Action的功能特性、版本更新内容及配置使用方法。

详解AI+压力测试实战方案，结合黑鱼Loader压测工具与AI编程智能体，从测试用例编写、数据生成、压测执行到报告输出全流程自动化，将30天性能测试工作压缩至1天完成。