[控场AI]
模型Supra-50M

Supra-50M

由QLNI开发的Llama风格对照实验模型,51.8M参数,采用标准浮点训练,用于与SHADOW-50M进行量化压缩效果对比

时间轴 (近 90 天)

9月15日

对照模型Supra-50M有51.8M参数,bf16下103.6MB,8-bit量化后56.2MB,降到int4困惑度从165恶化到193,压到三元直接崩溃

待验证50%
9月15日

在标准评测上Supra-50M领先SHADOW:ARC-Easy 0.435对0.307,PIQA 0.600对0.570,WikiText-2困惑度165对186

待验证50%

全部知识事实 (2)

来源文章