Unsloth
专注于本地LLM优化与量化的社区/工具组织,以快速发布优化后GGUF量化模型文件著称
核心事实
时间轴 (近 90 天)
Unsloth 的 Triton 内核逐层按需反量化,INT4 保持精确而不重新量化成 NF4,避免困惑度上升约 1.6%
Unsloth 发布了 v0.1.902-beta 版本(Unsloth Desktop),实现了预量化 4-bit 检查点保持打包状态直接训练
FastModel 现在支持微调 T5、T5Gemma、BART、Marian 等文本编码器-解码器模型,新增 unsloth eval 命令可运行 lm-evaluation-harness 任务
Qwen3.8-27B-NVFP4 在单张 RTX PRO 6000 上峰值显存从 72.9 GB 降至 40.2 GB,单步耗时缩短约 11%
本次更新支持对预量化 4-bit 检查点直接按发布权重训练,使加载后的模型所需显存大致等同于其 4-bit 检查点本身
实现方式通过 Triton kernel 在每一层前向时即时反量化,结果与 compressed-tensors 逐比特一致
Unsloth 发布了 v0.1.900-beta 版本,带来面向本地推理与训练的更新
新增的 Library 标签页将聊天记录、图片、视频等内容集中管理,并支持在 Unsloth 内查看 PDF、Word、Excel 和 PowerPoint 文件
Unsloth 0.1.900 新增了对 Laya 决策模型(开源版 Jev)的支持
unsloth发布了Qwen3 Flash Next的GGUF量化版本,可通过Unsloth桌面版的Model Hub下载
还有 40 条时间轴事件
全部知识事实 (20)
GPT-6 Astra的API模型标识为gpt-6-astra
90%已验证Qwen-Image-Edit是阿里巴巴通义千问团队推出的图像编辑模型,具备图像生成和局部编辑能力
90%已验证Unsloth 是一款专注于加速大语言模型微调的开源框架
90%已验证使用Unsloth进行训练时速度提升2-5倍
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队,为主流开源模型提供GGUF量化版本
85%已验证Unsloth 的 OpenAI 兼容 API 默认为 Codex 登录启用了 gpt-6-astra(GPT-6 Astra),支持从 Low 到 Max 的推理强度控制
75%已验证Unsloth的自动压缩功能将被移出的对话通过RAG管道索引到每个线程独立的可搜索归档中,用户可通过search_conversation工具召回
75%已验证Unsloth 针对主流 GPU 架构手写了定制化的 CUDA/Triton 计算内核并重写了反向传播算法
75%已验证Unsloth是由Daniel和Michael Han兄弟创立的开源项目,专注于大模型的训练加速和推理优化
75%已验证Qwen3 Next Flash的4-bit量化版本(Q4K XL)约111GB
70%已验证Unsloth使用Python开发
70%已验证Unsloth的方案是动态量化,根据不同层对模型输出的敏感程度动态选择保留更高精度或激进压缩,而非对所有层一视同仁压到1-bit
65%已验证Unsloth支持完全在本地环境中运行,训练数据无需上传云端
65%已验证Unsloth 现已在 Docker Hub(unsloth/unsloth)发布全新镜像,涵盖从 Turing 到 Blackwell 各代 NVIDIA GPU,并提供原生 AMD64 与 ARM64 架构镜像
75%已验证Unsloth 发布了 v0.1.47-beta 版本
90%已验证Unsloth团队发布了基于Dynamic v3量化方案的全新Qwen3.8-27B GGUF模型,在保持相同模型体积的前提下实现额外10%的top-1%精度提升
85%已验证Unsloth发布了Unsloth Desktop,这是一款支持Mac、Windows和Linux三大平台的开源桌面应用
75%待验证LLaMA-Factory和Unsloth是社区中成熟的LoRA微调和SFT工具
90%待验证Unsloth使用手写Triton内核替代PyTorch默认实现来优化训练速度
90%待验证Unsloth支持pip安装,配合CUDA环境即可快速启动,官方提供了针对不同模型的微调示例Notebook
90%