微调LLM还是构建应用？数据准备才是架构核心

很多团队在启动LLM项目时，会花大量时间纠结选哪个基座模型、用LoRA还是全参数微调、要不要上RAG。Reddit社区近期一篇讨论帖提出了一个被低估的观点：无论走微调路线还是构建LLM应用，数据准备都不该是事后补课的环节，而必须被当作系统架构的一部分来设计。

这个判断看似朴素，但落到工程实践里，它直接决定了项目是能持续迭代，还是在第一次数据格式变更时就全面返工。

为什么数据准备总被当成“脏活”

在传统机器学习项目里，数据管道有明确的上下游：采集、清洗、标注、特征工程、训练。LLM时代的特殊性在于，数据同时承担了三种角色——训练语料、检索知识库、以及运行时上下文。三者对数据的要求并不一致。

微调需要的是高质量、格式统一的指令-回答对，噪声容忍度低；RAG需要的是可切分、可检索、带元数据的文档块；而prompt工程则依赖结构化的上下文拼装。如果团队在项目初期只按其中一种用途组织数据，后续切换方案时几乎必然要重建数据层。

Reddit原帖的核心论点正是：数据准备不是训练前的预处理步骤，而是与模型选型、服务编排并列的架构决策。

指令微调数据的典型结构

文章提到的 instruction、input、output、source、version 五个字段，对应的是监督式指令微调（Supervised Fine-Tuning, SFT）中常见的一条样本。instruction 描述任务要求，input 提供可选的任务输入，output 是期望模型生成的回答；source 标记样本来自人工标注、公开数据集还是合成数据，用于审计与去重；version 则让数据集能够增量演进而不破坏历史训练记录的可复现性。这一结构并非唯一标准，Alpaca、ShareGPT 等流行格式各有变体，但字段语义的明确与稳定，比具体命名更重要。

LoRA与全参数微调的数据需求差异

LoRA（Low-Rank Adaptation）通过冻结基座模型、只训练低秩适配矩阵来降低显存与存储开销，因此对数据量的要求通常低于全参数微调，但在数据质量与格式一致性上同样敏感——低质量样本在参数高效微调中更容易被放大为风格漂移。全参数微调则对数据规模和多样性要求更高，且每次迭代成本更大，数据版本管理的重要性随之上升。两者共享的结论是：数据 schema 的稳定性独立于微调方式的选择。

把数据层纳入架构设计的三个抓手

1. Schema先行，而非模型先行

多数团队的做法是先定模型，再倒推数据格式。更稳妥的顺序是反过来的：先定义数据的schema——字段、类型、版本、来源标记——再评估哪种模型或检索方案能消费这套schema。这样做的代价是前期慢一点，收益是模型可替换。

具体到实践，指令微调数据至少应包含instruction、input、output、source、version五个字段，其中source用于追溯数据来源以便审计和去重，version用于支持数据集的增量更新而不破坏已有训练记录。

2. 数据管道要有幂等性和可重放能力

LLM项目的典型故障是“上次训练用的数据是哪一版”。如果清洗脚本不可重放、中间产物没有快照，模型效果回退时根本无法定位原因。把数据管道当作生产服务来建设——带版本号的产物存储、可重放的清洗逻辑、变更日志——是架构层面的必要投入。

3. 训练数据与检索数据共享底座

微调与RAG并非互斥，很多生产系统同时使用两者。如果训练语料和检索知识库来自两套独立的数据源和清洗逻辑，就会出现知识不一致：模型微调时学到的内容与检索返回的内容相互矛盾。共享同一套原始数据底座、在同一层做清洗和分叉，能显著降低这类冲突。

RAG对数据切分与元数据的要求

RAG（Retrieval-Augmented Generation，检索增强生成）的核心是把外部文档切分为可检索的块（chunk），在推理时按相关性召回并拼入上下文。这与微调语料的要求存在结构性差异：检索块需要控制长度以适配嵌入模型的上下文窗口，需要保留标题、来源、时间等元数据以支持过滤与溯源，还需要在切分时尽量保持语义完整，避免把一句话拦腰截断。如果训练语料与检索知识库共用同一套原始文档，就需要在清洗层之后设计分叉逻辑——同一份源数据分别产出指令样本和检索块，而不是各自维护一条独立管道。这正是文章所说“共享底座、同层分叉”的工程含义。

对团队分工的实际影响

把数据准备纳入架构，意味着数据工程不再是“支持角色”。在项目排期上，数据schema设计和管道搭建应该与模型评估并行启动，而不是等模型选型确定后才开始。这也解释了为什么不少LLM项目在POC阶段表现良好、进入生产却举步维艰——POC可以手工拼数据，生产环境不行。

原帖讨论中有一个值得记住的判断：模型会换、框架会换，但一套设计良好的数据层可以跨越这些变化持续复用。把预算和人力优先投向数据层，长期回报高于追逐最新模型。

小结

微调还是构建应用，这个问题本身可能问错了方向。真正决定LLM项目能否规模化的是数据层是否被当作一等公民来设计。Schema先行、管道可重放、训练与检索共享底座，这三条是当前可落地的最小共识。