Unsloth
专注于本地LLM优化与量化的社区/工具组织,以快速发布优化后GGUF量化模型文件著称
核心事实
时间轴 (近 90 天)
Unsloth动态量化3.1在Terminal Bench、DEEP、SWE等基准测试中取得了最高分。
在代码理解任务中,Unsloth模型的生成速率大约在每秒107到117个Token之间,平均每秒70到80个Token;GGUF的3位量化版本大约为每秒110个Token。
在.NET 8到.NET 10的代码迁移任务中,Unsloth模型仅用三分钟完成,总速度约每秒73个Token,共69次工具调用,消耗约86,000个Token;GSQ-RCO模型耗时2分51秒,82次工具调用,消耗130万个输入输出Token。
Unsloth动态量化3.1新增了对MTP(多令牌预测)的支持,在Unsloth自身环境中输出速度提升了1.3到1.7倍。
Strata推理引擎支持Unsloth动态量化V3.1,并通过将权重从RAM转移到SSD,在Apple M5 Max上运行时虚拟内存开销更低,使得在仅有64GB内存的机器上也能运行类似模型。
在SVG图像生成任务中,Unsloth的4位量化模型耗时约6分40秒,生成质量相当不错;GSQ-RCO的3位量化版本仅需3到4分钟,但图像质量明显较差;与GSQ-RCO的5位量化相比,Unsloth模型生成的图像质量稍好,但生成时间约8到9分钟。
Unsloth发布了QN3.8 Flash Next模型的动态量化3.1版本,声称在保持与其他领先量化器相同压缩率的前提下,将准确率提升了15%。
Unsloth在Hacker News上发布了针对Qwen3.8-27B的量化版本更新,代号Dynamic v3.1。
Unsloth以低显存微调和高效量化工具在开发者中积累了口碑。
Unsloth 的 UD 系列采用动态方案:对敏感层保留更高精度,对冗余层进行更激进的压缩。
还有 40 条时间轴事件
全部知识事实 (20)
GPT-6 Astra的API模型标识为gpt-6-astra
90%已验证Qwen-Image-Edit是阿里巴巴通义千问团队推出的图像编辑模型,具备图像生成和局部编辑能力
90%已验证Unsloth 是一款专注于加速大语言模型微调的开源框架
90%已验证使用Unsloth进行训练时速度提升2-5倍
90%已验证长推理块的渲染速度从此前的 30 FPS 提升到 60 FPS
85%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队,为主流开源模型提供GGUF量化版本
85%已验证NVIDIA 声称 Nemotron 3.5 Bolt 74B-A9B 的权重可在 24GB 内存中运行,该 24GB 仅指权重本身占用,不含上下文、KV 缓存和运行时开销。
80%已验证Unsloth 的 OpenAI 兼容 API 默认为 Codex 登录启用了 gpt-6-astra(GPT-6 Astra),支持从 Low 到 Max 的推理强度控制
80%已验证Muse Glimmer全精度运行需要55GB显存,通过4-bit量化后压缩到20GB以内,可在24GB显存的消费级显卡上运行
80%已验证官方发布信息中并未给出具体的基准测试数据、上下文长度或与竞品的量化对比
75%已验证Unsloth的自动压缩功能将被移出的对话通过RAG管道索引到每个线程独立的可搜索归档中,用户可通过search_conversation工具召回
75%已验证Unsloth的Dynamic GGUF根据不同层和权重的敏感度动态选择量化精度,在压缩率与准确率之间取得平衡
75%已验证Unsloth 针对主流 GPU 架构手写了定制化的 CUDA/Triton 计算内核并重写了反向传播算法
75%已验证Unsloth是由Daniel和Michael Han兄弟创立的开源项目,专注于大模型的训练加速和推理优化
75%已验证Qwen3 Next Flash的4-bit量化版本(Q4K XL)约111GB
70%已验证Unsloth使用Python开发
70%已验证Qwen3 27B 的 4bit 量化版权重仅约 16.1G,可在 32G 内存的 MacBook Pro/Mac Studio 或约 17G 显存的消费级显卡上运行
65%已验证Unsloth支持完全在本地环境中运行,训练数据无需上传云端
65%已验证Unsloth团队发布了基于Dynamic v3量化方案的全新Qwen3.8-27B GGUF模型,在保持相同模型体积的前提下实现额外10%的top-1%精度提升
85%已验证Unsloth 现已在 Docker Hub(unsloth/unsloth)发布全新镜像,涵盖从 Turing 到 Blackwell 各代 NVIDIA GPU,并提供原生 AMD64 与 ARM64 架构镜像
75%