待验证50% 置信事实精确时间
ZIP-SR 与 ZE-EDEN 两种方法都用 4-bit NormalFloat（NF4）处理一阶矩，并在训练最后 10% 阶段对 LM-head 的一阶矩施加针对性的随机舍入。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证实践中所谓的1-bit GGUF通常采用混合方案：embedding层和lm_head等关键组件保留较高精度，中间transformer层使用极低比特，整体平均比特率可能在1.5-2.0 bit/参数之间68% 相似待验证实验中冻结了Qwen3.5-0.8B主干和约510亿参数的PLE记忆模块，只训练了部署在解码器第3层和第9层的R=1读取器61% 相似待验证微软DeepSpeed提出的ZeRO技术分为三个阶段：Stage-1分片优化器状态可将内存需求降低约4倍，Stage-2额外分片梯度，Stage-3进一步分片模型参数61% 相似待验证LoRA是当前参数高效微调（PEFT）中最主流的方法，核心是在Transformer层的权重矩阵旁插入一对低秩矩阵（通常秩为4到64），只训练这两个小矩阵61% 相似待验证gg-friggin-ez 底层由 System 1 模型驱动，包括 TypeSafe AI 的 Jev 与 Laya60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1013232API
curl https://kongchang.com/api/v1/knowledge/claims/1013232MCP
get_claim(id=1013232)