[控场AI]
公司

Unsloth

专注于本地LLM优化与量化的社区/工具组织,以快速发布优化后GGUF量化模型文件著称

核心事实

时间轴 (近 90 天)

11月15日

Unsloth动态量化3.1在Terminal Bench、DEEP、SWE等基准测试中取得了最高分。

待验证50%
11月15日

在代码理解任务中,Unsloth模型的生成速率大约在每秒107到117个Token之间,平均每秒70到80个Token;GGUF的3位量化版本大约为每秒110个Token。

待验证50%
11月15日

在.NET 8到.NET 10的代码迁移任务中,Unsloth模型仅用三分钟完成,总速度约每秒73个Token,共69次工具调用,消耗约86,000个Token;GSQ-RCO模型耗时2分51秒,82次工具调用,消耗130万个输入输出Token。

待验证50%
11月15日

Unsloth动态量化3.1新增了对MTP(多令牌预测)的支持,在Unsloth自身环境中输出速度提升了1.3到1.7倍。

待验证50%
11月15日

Strata推理引擎支持Unsloth动态量化V3.1,并通过将权重从RAM转移到SSD,在Apple M5 Max上运行时虚拟内存开销更低,使得在仅有64GB内存的机器上也能运行类似模型。

待验证50%
11月15日

在SVG图像生成任务中,Unsloth的4位量化模型耗时约6分40秒,生成质量相当不错;GSQ-RCO的3位量化版本仅需3到4分钟,但图像质量明显较差;与GSQ-RCO的5位量化相比,Unsloth模型生成的图像质量稍好,但生成时间约8到9分钟。

待验证50%
11月15日

Unsloth发布了QN3.8 Flash Next模型的动态量化3.1版本,声称在保持与其他领先量化器相同压缩率的前提下,将准确率提升了15%。

待验证50%
11月14日

Unsloth在Hacker News上发布了针对Qwen3.8-27B的量化版本更新,代号Dynamic v3.1。

待验证50%
11月14日

Unsloth以低显存微调和高效量化工具在开发者中积累了口碑。

待验证50%
11月11日

Unsloth 的 UD 系列采用动态方案:对敏感层保留更高精度,对冗余层进行更激进的压缩。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

GPT-6 Astra的API模型标识为gpt-6-astra

90%
已验证

Qwen-Image-Edit是阿里巴巴通义千问团队推出的图像编辑模型,具备图像生成和局部编辑能力

90%
已验证

Unsloth 是一款专注于加速大语言模型微调的开源框架

90%
已验证

使用Unsloth进行训练时速度提升2-5倍

90%
已验证

长推理块的渲染速度从此前的 30 FPS 提升到 60 FPS

85%
已验证

Unsloth是专注于大模型量化与微调加速的开源工具团队,为主流开源模型提供GGUF量化版本

85%
已验证

NVIDIA 声称 Nemotron 3.5 Bolt 74B-A9B 的权重可在 24GB 内存中运行,该 24GB 仅指权重本身占用,不含上下文、KV 缓存和运行时开销。

80%
已验证

Unsloth 的 OpenAI 兼容 API 默认为 Codex 登录启用了 gpt-6-astra(GPT-6 Astra),支持从 Low 到 Max 的推理强度控制

80%
已验证

Muse Glimmer全精度运行需要55GB显存,通过4-bit量化后压缩到20GB以内,可在24GB显存的消费级显卡上运行

80%
已验证

官方发布信息中并未给出具体的基准测试数据、上下文长度或与竞品的量化对比

75%
已验证

Unsloth的自动压缩功能将被移出的对话通过RAG管道索引到每个线程独立的可搜索归档中,用户可通过search_conversation工具召回

75%
已验证

Unsloth的Dynamic GGUF根据不同层和权重的敏感度动态选择量化精度,在压缩率与准确率之间取得平衡

75%
已验证

Unsloth 针对主流 GPU 架构手写了定制化的 CUDA/Triton 计算内核并重写了反向传播算法

75%
已验证

Unsloth是由Daniel和Michael Han兄弟创立的开源项目,专注于大模型的训练加速和推理优化

75%
已验证

Qwen3 Next Flash的4-bit量化版本(Q4K XL)约111GB

70%
已验证

Unsloth使用Python开发

70%
已验证

Qwen3 27B 的 4bit 量化版权重仅约 16.1G,可在 32G 内存的 MacBook Pro/Mac Studio 或约 17G 显存的消费级显卡上运行

65%
已验证

Unsloth支持完全在本地环境中运行,训练数据无需上传云端

65%
已验证

Unsloth团队发布了基于Dynamic v3量化方案的全新Qwen3.8-27B GGUF模型,在保持相同模型体积的前提下实现额外10%的top-1%精度提升

85%
已验证

Unsloth 现已在 Docker Hub(unsloth/unsloth)发布全新镜像,涵盖从 Turing 到 Blackwell 各代 NVIDIA GPU,并提供原生 AMD64 与 ARM64 架构镜像

75%

来源文章