Unsloth
专注于本地LLM优化与量化的社区/工具组织,以快速发布优化后GGUF量化模型文件著称
Core Facts
Timeline (last 90 days)
Unsloth 的决策模型方案使用 QLoRA 对任意文本或视觉 LLM 进行微调,训练出带决策头的模型,训练、测试、导出、部署均可在 Unsloth 内完成
Unsloth 发布 v0.1.905-beta 版本(内部版本 2026.10.2),新增将任意文本或视觉大模型训练成决策模型的能力
Unsloth 的决策模型采用 Jev 风格,使模型在给定选项中做出选择并为每个选项附带置信度分数,而非生成自由文本
官方数据显示,经过决策模型训练后,模型的决策准确率可以从 30% 提升至 80%
Unsloth 发布了 v0.1.904-beta 版本,新增将任意文本或视觉大语言模型转化为「Jev 风格」决策模型的能力
Unsloth 可以直接从 Hugging Face 运行受支持的 ComfyUI 图像和视频模型,并自动识别 ComfyUI 检查点和本地模型文件夹
针对 gated-delta、Mamba2 和短卷积等混合架构模型,样本打包得到改进并修正了打包逻辑问题
Unsloth 在三大平台为模型运行的代码提供沙箱隔离:Linux 使用 Bwrap,macOS 使用 Seatbelt,Windows 使用 MXC
gpt-oss-20b 的 QLoRA 在 NVIDIA 上快了 2 到 3 倍
Unsloth 强调网页环境与账户、聊天记录和 API 是隔离的,网页无法访问这些敏感数据
40 more timeline events
All Facts (20)
GPT-6 Astra的API模型标识为gpt-6-astra
90%VerifiedQwen-Image-Edit是阿里巴巴通义千问团队推出的图像编辑模型,具备图像生成和局部编辑能力
90%VerifiedUnsloth 是一款专注于加速大语言模型微调的开源框架
90%Verified使用Unsloth进行训练时速度提升2-5倍
90%Verified长推理块的渲染速度从此前的 30 FPS 提升到 60 FPS
85%VerifiedUnsloth是专注于大模型量化与微调加速的开源工具团队,为主流开源模型提供GGUF量化版本
85%VerifiedUnsloth 的 OpenAI 兼容 API 默认为 Codex 登录启用了 gpt-6-astra(GPT-6 Astra),支持从 Low 到 Max 的推理强度控制
75%VerifiedUnsloth的自动压缩功能将被移出的对话通过RAG管道索引到每个线程独立的可搜索归档中,用户可通过search_conversation工具召回
75%VerifiedUnsloth 针对主流 GPU 架构手写了定制化的 CUDA/Triton 计算内核并重写了反向传播算法
75%VerifiedUnsloth是由Daniel和Michael Han兄弟创立的开源项目,专注于大模型的训练加速和推理优化
75%VerifiedQwen3 Next Flash的4-bit量化版本(Q4K XL)约111GB
70%VerifiedUnsloth使用Python开发
70%VerifiedUnsloth的方案是动态量化,根据不同层对模型输出的敏感程度动态选择保留更高精度或激进压缩,而非对所有层一视同仁压到1-bit
65%VerifiedUnsloth支持完全在本地环境中运行,训练数据无需上传云端
65%VerifiedUnsloth团队发布了基于Dynamic v3量化方案的全新Qwen3.8-27B GGUF模型,在保持相同模型体积的前提下实现额外10%的top-1%精度提升
85%VerifiedUnsloth 现已在 Docker Hub(unsloth/unsloth)发布全新镜像,涵盖从 Turing 到 Blackwell 各代 NVIDIA GPU,并提供原生 AMD64 与 ARM64 架构镜像
75%VerifiedUnsloth发布了Unsloth Desktop,这是一款支持Mac、Windows和Linux三大平台的开源桌面应用
75%UnverifiedLLaMA-Factory和Unsloth是社区中成熟的LoRA微调和SFT工具
90%UnverifiedUnsloth使用手写Triton内核替代PyTorch默认实现来优化训练速度
90%UnverifiedUnsloth支持pip安装,配合CUDA环境即可快速启动,官方提供了针对不同模型的微调示例Notebook
90%