LLaMA-Factory
开源大语言模型微调框架,支持多种主流LLM的高效微调,提供统一易用的训练界面
时间轴 (近 90 天)
MiniCPM-V 4.7 兼容 SGLang、vLLM、llama.cpp 和 Ollama 推理框架,支持 SWIFT 和 LLaMA-Factory 微调框架。
Axolotl 以配置驱动方式简化微调实验的复现成本,LLaMA-Factory 提供面向国内用户的一站式解决方案
常见数据格式规范有Alpaca格式和ShareGPT格式,主流训练框架如LLaMA-Factory、Axolotl均支持自动解析
LayerSmith 近期新增了一组面向大模型训练和微调的镜像配置,覆盖 LoRA/QLoRA、进阶 PyTorch 训练以及 LLaMA-Factory
LLaMA-Factory 是一个整合了多种 PEFT 方法的训练框架,支持从数据预处理到导出的完整流程
LLaMA-Factory 是目前最主流的开源大模型微调框架之一,支持对 LLaMA、Qwen、ChatGLM 等数十种主流开源模型进行监督微调(SFT)和强化学习人类反馈(RLHF)等微调方式
LLaMA-Factory 提供可视化的 Web UI,使用者无需深入理解底层算法即可完成微调任务
星辰4.0 29B兼容MindFormers、LLaMA-Factory等微调工具,以及SGLang、vLLM等推理框架
Unsloth 的差异化定位是作为加速层嵌入已有的 Hugging Face 生态,用户只需替换几行代码即可获得速度和显存收益,与 Axolotl、LLaMA-Factory 等工具兼容而非竞争
对于生产环境部署建议选择经过社区充分验证的稳定版本,学习实验则可追新以接触最前沿的技术实现
全部知识事实 (11)
LLaMA-Factory和Unsloth是社区中成熟的LoRA微调和SFT工具
90%待验证MiniCPM-V 4.7 兼容 SGLang、vLLM、llama.cpp 和 Ollama 推理框架,支持 SWIFT 和 LLaMA-Factory 微调框架。
50%待验证Axolotl 以配置驱动方式简化微调实验的复现成本,LLaMA-Factory 提供面向国内用户的一站式解决方案
50%待验证常见数据格式规范有Alpaca格式和ShareGPT格式,主流训练框架如LLaMA-Factory、Axolotl均支持自动解析
50%待验证LLaMA-Factory 是一个整合了多种 PEFT 方法的训练框架,支持从数据预处理到导出的完整流程
50%待验证LLaMA-Factory 提供可视化的 Web UI,使用者无需深入理解底层算法即可完成微调任务
50%待验证LLaMA-Factory 是目前最主流的开源大模型微调框架之一,支持对 LLaMA、Qwen、ChatGLM 等数十种主流开源模型进行监督微调(SFT)和强化学习人类反馈(RLHF)等微调方式
50%待验证星辰4.0 29B兼容MindFormers、LLaMA-Factory等微调工具,以及SGLang、vLLM等推理框架
50%待验证Unsloth 的差异化定位是作为加速层嵌入已有的 Hugging Face 生态,用户只需替换几行代码即可获得速度和显存收益,与 Axolotl、LLaMA-Factory 等工具兼容而非竞争
50%待验证对于生产环境部署建议选择经过社区充分验证的稳定版本,学习实验则可追新以接触最前沿的技术实现
50%待验证LayerSmith 近期新增了一组面向大模型训练和微调的镜像配置,覆盖 LoRA/QLoRA、进阶 PyTorch 训练以及 LLaMA-Factory
50%