[控场AI]
产品本地大模型标准测试

LLST

一款开源本地大模型标准化评测工具,由两层架构组成:102道固定能力基准测试(覆盖知识推理、指令遵循、深度数学、中文能力、代码生成)和确定性长上下文压力测试,支持横向可比性评估

时间轴 (近 90 天)

9月17日

LLST(本地大模型标准测试)是一套开源的标准化本地大模型测试工具,由能力基准和梯度压力测试两部分组成

待验证50%
9月17日

LLST 的能力测试采用 102 道固定提示样本,覆盖知识推理、指令遵循、深度数学、中文能力、代码生成五个维度

待验证50%
9月17日

LLST 五个维度的题目分布为:知识推理42道、指令遵循20道、深度数学10道、中文能力20道、代码生成10道

待验证50%
9月17日

LLST 的压力测试固定 512、4K、16K、28K token 四个输入梯度,输出统一固定为 512 token

待验证50%
9月17日

LLST 通过 OpenAI 兼容 API 的 token 模式对接,支持多种推理框架

待验证50%
9月17日

LLST 的 Mac 端软件并非自研,而是基于公开免费的 UnaScope 做的二次开发

待验证50%

全部知识事实 (6)

来源文章