[
KongchangAI
]
Feed
Entities
Podcasts
Deep Dives
Developers
About
Get CLI
中文
Model
SHADOW-50M / SHADOW
SHADOW-50M
由Reddit开发者QLNI从零训练的超小型语言模型,实际44M参数,采用三元权重和冻结指纹词表设计,模型文件仅19.8MB,在CPU上可达约1900 tok/s推理速度,专为极致压缩和本地运行优化
Source Articles
19.8MB的LLM:44M参数模型如何在CPU上跑出1900 tok/s
Sep 15