模型1-bit Coder 量化模型
1-bit Coder
一种极低比特量化的大模型版本,通过 1-bit 量化技术大幅压缩模型体积,以便在消费级硬件上运行。
时间轴 (近 90 天)
10月17日
测试使用一张租用的 RTX 5090(32GB 显存),加载 IST Austria DASLab 的 1-bit Coder 量化版本(58.4GB),上下文 256K
待验证50%
一种极低比特量化的大模型版本,通过 1-bit 量化技术大幅压缩模型体积,以便在消费级硬件上运行。
测试使用一张租用的 RTX 5090(32GB 显存),加载 IST Austria DASLab 的 1-bit Coder 量化版本(58.4GB),上下文 256K