PEFT
参数高效微调方法，旨在以最小化可训练参数数量的方式对预训练模型进行微调，代表方法包括LoRA、Adapter等，显著降低显存和计算需求
核心事实
时间轴 (近 90 天)
参数高效微调（PEFT）是实现低成本训练的核心技术支撑
在隔离环境中使用 LLM 微调工具的最大挑战是 CUDA、cuDNN、Transformers、PEFT 库等依赖版本耦合复杂，任何版本不匹配都可能导致训练栈无法启动
LLaMA-Factory 是一个整合了多种 PEFT 方法的训练框架，支持从数据预处理到导出的完整流程
参数高效微调（PEFT）如LoRA只更新少量额外参数，降低了对算力和数据量的需求
蒸馏结合参数高效微调（PEFT）可在单张消费级GPU上完成整个模型改造流程
LoRA是当前参数高效微调（PEFT）中最主流的方法，核心是在Transformer层的权重矩阵旁插入一对低秩矩阵（通常秩为4到64），只训练这两个小矩阵
工程化落地的必备原理基础包括Transformer架构（了解整体流程即可）和微调算法（LoRA、PEFT等轻量级方法）
Hugging Face 的 PEFT 库封装了 LoRA 及其变体，QLoRA 支持 4-bit 量化以进一步压缩显存占用
Hugging Face已经成为NLP领域事实上的标准平台，提供了统一的接口来使用数万个预训练模型
Hugging Face维护着Datasets、Tokenizers、Accelerate、PEFT等配套工具，形成从数据准备到部署推理的完整工具链
还有 11 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证Hugging Face 推出了 transformers、datasets、diffusers 等一系列配套开源库
75%已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果
75%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
75%已验证LoRA（Low-Rank Adaptation）可将训练参数量减少99%以上
75%已验证HuggingFace的核心产品包括Transformers库、Hub模型版本管理系统以及Inference API
65%已验证LoRA将对权重矩阵的全量更新分解为两个低秩矩阵的乘积，训练时只更新这两个小矩阵，原始权重保持冻结
65%已验证LoRA等参数高效微调方法（PEFT）大幅降低了微调的算力门槛，使个人开发者能在消费级GPU上完成微调
65%已验证参数高效微调（PEFT）方法如 LoRA、Adapter 可将可训练参数量压缩至全量参数的不足 1%
65%待验证PEFT库支持LoRA和QLoRA等参数高效微调方法，可将需要更新的参数量从数十亿降低到数百万级别
90%待验证Hugging Face Hub深度集成了Transformers、Diffusers、PEFT等主流开源库，用户只需一行代码即可加载任意模型
70%待验证工程化落地的必备原理基础包括Transformer架构（了解整体流程即可）和微调算法（LoRA、PEFT等轻量级方法）
60%待验证Hugging Face已经成为NLP领域事实上的标准平台，提供了统一的接口来使用数万个预训练模型
60%待验证参数高效微调（PEFT）是实现低成本训练的核心技术支撑
50%待验证在隔离环境中使用 LLM 微调工具的最大挑战是 CUDA、cuDNN、Transformers、PEFT 库等依赖版本耦合复杂，任何版本不匹配都可能导致训练栈无法启动
50%待验证LLaMA-Factory 是一个整合了多种 PEFT 方法的训练框架，支持从数据预处理到导出的完整流程
50%待验证参数高效微调（PEFT）如LoRA只更新少量额外参数，降低了对算力和数据量的需求
50%待验证蒸馏结合参数高效微调（PEFT）可在单张消费级GPU上完成整个模型改造流程
50%待验证LoRA是当前参数高效微调（PEFT）中最主流的方法，核心是在Transformer层的权重矩阵旁插入一对低秩矩阵（通常秩为4到64），只训练这两个小矩阵
50%待验证Hugging Face 的 PEFT 库封装了 LoRA 及其变体，QLoRA 支持 4-bit 量化以进一步压缩显存占用
50%