产品本地大模型标准测试
LLST
一款开源本地大模型标准化评测工具,由两层架构组成:102道固定能力基准测试(覆盖知识推理、指令遵循、深度数学、中文能力、代码生成)和确定性长上下文压力测试,支持横向可比性评估
时间轴 (近 90 天)
9月17日
LLST(本地大模型标准测试)是一套开源的标准化本地大模型测试工具,由能力基准和梯度压力测试两部分组成
待验证50%
9月17日
LLST 的能力测试采用 102 道固定提示样本,覆盖知识推理、指令遵循、深度数学、中文能力、代码生成五个维度
待验证50%
9月17日
LLST 五个维度的题目分布为:知识推理42道、指令遵循20道、深度数学10道、中文能力20道、代码生成10道
待验证50%
9月17日
LLST 的压力测试固定 512、4K、16K、28K token 四个输入梯度,输出统一固定为 512 token
待验证50%
9月17日
LLST 通过 OpenAI 兼容 API 的 token 模式对接,支持多种推理框架
待验证50%
9月17日
LLST 的 Mac 端软件并非自研,而是基于公开免费的 UnaScope 做的二次开发
待验证50%
全部知识事实 (6)
待验证
LLST(本地大模型标准测试)是一套开源的标准化本地大模型测试工具,由能力基准和梯度压力测试两部分组成
50%待验证LLST 的能力测试采用 102 道固定提示样本,覆盖知识推理、指令遵循、深度数学、中文能力、代码生成五个维度
50%待验证LLST 五个维度的题目分布为:知识推理42道、指令遵循20道、深度数学10道、中文能力20道、代码生成10道
50%待验证LLST 的压力测试固定 512、4K、16K、28K token 四个输入梯度,输出统一固定为 512 token
50%待验证LLST 通过 OpenAI 兼容 API 的 token 模式对接,支持多种推理框架
50%待验证LLST 的 Mac 端软件并非自研,而是基于公开免费的 UnaScope 做的二次开发
50%