[KongchangAI]
ModelSupra-50M

Supra-50M

由QLNI开发的Llama风格对照实验模型,51.8M参数,采用标准浮点训练,用于与SHADOW-50M进行量化压缩效果对比

Timeline (last 90 days)

Sep 15

对照模型Supra-50M有51.8M参数,bf16下103.6MB,8-bit量化后56.2MB,降到int4困惑度从165恶化到193,压到三元直接崩溃

Unverified50%
Sep 15

在标准评测上Supra-50M领先SHADOW:ARC-Easy 0.435对0.307,PIQA 0.600对0.570,WikiText-2困惑度165对186

Unverified50%

All Facts (2)

Source Articles