AI效果差怎么办？先做对这些简单却常被忽略的事

一句值得反复咀嚼的话

在AI工程与产品实践中，有一句话值得反复咀嚼："答案往往很简单，你只是没有去做那些显而易见就该做对的事。"

这句看似平淡的话，背后隐藏着许多技术团队和个人开发者反复踩坑的真相。我们习惯于把问题归因于复杂的技术挑战——模型不够大、数据不够多、算力不够强、算法不够先进——却常常忽略了最基础、最显而易见的正确做法根本没有被执行。

复杂性偏好：一种常见的认知陷阱

人类在面对问题时，天然倾向于寻找复杂的解释。这种倾向在技术领域尤其明显。行为科学中将这种现象称为"复杂性偏好"（Complexity Bias），诺贝尔经济学奖得主丹尼尔·卡尼曼在《思考，快与慢》中对此有过深入的分析。他将人类思维分为系统1（快速直觉）和系统2（慢速分析），当面对技术问题时，我们的系统2往往倾向于构建复杂的因果叙事，因为复杂解释在心理上更让人感到"安全"——如果问题很简单，那意味着我们犯了低级错误，这会威胁到专业自尊。尽管奥卡姆剃刀原则（如无必要勿增实体）在科学方法论中被广泛推崇，但在实际工程决策中却经常被违反，因为选择简单方案往往需要更大的勇气和判断力。

当一个AI系统表现不佳时，工程师的第一反应往往是：

• "是不是需要换一个更强的模型？"
• "是不是要引入更复杂的架构？"
• "是不是得做更精细的超参数调优？"

然而现实是，大量的AI效果问题其实来自于极其基础的疏漏：训练数据里混入了脏数据、评估集和训练集存在泄漏、prompt写得含糊不清、没有做最基本的数据清洗、系统里存在一个显而易见但没人去检查的bug。

这里有必要解释两个关键概念。脏数据（Dirty Data） 指数据集中存在的错误、不一致、缺失或冗余的记录，常见类型包括标注错误（如情感分类中把正面标为负面）、格式不一致、异常值和重复记录等。据IBM估算，美国每年因数据质量问题造成的经济损失高达3.1万亿美元。而 数据泄漏（Data Leakage） 则是指训练过程中无意间使用了不应获得的信息，最典型的场景是评估集的样本出现在训练集中，导致模型在评估时表现虚高，但部署到真实环境后效果急剧下降。这类问题往往在早期很难被发现，却会从根本上使整个模型开发流程失去意义。

为什么我们总是跳过简单的事？

原因有几个层面。首先，简单的事往往"不够酷"。做数据清洗、写清晰的prompt、逐条检查评估样本，这些工作枯燥且缺乏成就感。相比之下，尝试一个新的前沿模型或架构则更有"技术含量"。

其次，我们容易高估自己的执行质量。很多人以为自己"已经做了"数据清洗或"已经写好了"prompt，但实际上做得非常粗糙。显而易见的正确做法和真正把它做到位之间，隔着一道巨大的鸿沟。

AI实践中那些简单却关键的正确做法

把这句话落到具体的AI工程实践上，所谓"显而易见就该做对的事"通常包括以下几类。

认真看数据：最容易被跳过的一步

无论是训练数据还是评估数据，逐条去看真实样本几乎总能发现问题。标注错误、格式异常、分布偏差、重复样本——这些问题只要花时间去看就能发现，但恰恰是最容易被跳过的一步。资深的机器学习从业者常说："当模型不work时，先去看你的数据。"

这个建议看似朴素，但其重要性得到了无数实践的验证。Google的著名论文《Hidden Technical Debt in Machine Learning Systems》揭示了一个残酷的现实：在真实的机器学习系统中，实际的模型代码只占整个系统的极小部分，大量的工程努力应该投入到数据收集、验证、特征提取、监控和配置管理等"不性感"的基础设施工作中。然而在实践中，这些基础工作往往被严重低估和忽视。

把prompt写清楚：很多"效果差"的根源

在大模型时代，很多所谓的"AI效果差"其实是prompt表达不清导致的。你没有清楚地告诉模型你想要什么，模型自然给不出你期望的结果。把需求写清楚、把边界条件说明白、给出具体示例，这些都是显而易见但常被忽略的基本功。

Prompt Engineering（提示工程）已经发展为大语言模型时代的一个核心实践领域。研究表明，prompt的微小变化可能导致模型输出质量产生巨大差异。目前常见的prompt优化技术包括：Few-shot Prompting（在prompt中提供少量示例，让模型理解期望的输入输出模式）、Chain-of-Thought（要求模型逐步推理而非直接给出答案，显著提升复杂推理任务的表现）、以及角色设定（为模型指定特定身份和行为规范）等。OpenAI、Anthropic等公司的官方最佳实践指南都反复强调，清晰、具体、结构化的prompt是获得高质量输出的基础。许多开发者在prompt中常犯的错误恰恰是最基本的：指令过于模糊、缺少输出格式要求、没有提供边界条件和反例。

建立可靠的评估体系：别让优化变成盲人摸象

没有可靠的评估，你根本不知道自己是在进步还是退步。很多团队在没有建立清晰评估指标的情况下就开始优化，最后陷入"改了半天不知道有没有变好"的困境。先把评估做扎实，是最朴素也最关键的一步。

AI系统的评估是机器学习工程中最被低估的环节之一。在传统机器学习中，评估指标如准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数等已经形成了较为成熟的体系。但在大语言模型时代，评估变得更加复杂，因为输出是开放式文本而非固定类别。当前业界常用的LLM评估方法包括：人工评估（被视为金标准但成本高昂且难以大规模进行）、基于规则的自动评估（如BLEU、ROUGE等文本相似度指标，适合特定场景但存在局限性）、以及用更强的模型做裁判（LLM-as-Judge，由Claude或GPT-4等模型对输出质量进行评分）。Google、Meta等公司的研究团队多次发表论文指出，不恰当的评估体系是导致AI研究中"虚假进步"的重要原因。知名AI研究者Andrej Karpathy也曾多次强调，在优化任何指标之前，必须确保该指标真正反映了你要解决的问题。

从执行力角度重新理解AI效果问题

这句话的深层含义，其实指向了"执行力"而非"认知力"。很多时候我们并不缺乏正确的认知——我们都知道应该清洗数据、应该写清楚prompt、应该建立评估——但我们没有真正、彻底、认真地去执行。

知道和做到之间的距离

技术领域最大的差距，往往不在于谁掌握了更前沿的知识，而在于谁把基础的事情做得更扎实。一个愿意花三天时间逐条检查评估样本的工程师，往往能解决那些别人用更花哨的方法都解决不了的问题。

这种"知行差距"（Knowing-Doing Gap）在管理学中已被系统研究——斯坦福大学教授Jeffrey Pfeffer和Robert Sutton在同名著作中指出，组织和个人最大的失败往往不是缺乏知识，而是未能将已有的知识转化为行动。在硅谷的工程文化中，这种差距尤为突出。Netflix、Airbnb等公司的机器学习平台团队反复强调，真正区分优秀团队和普通团队的，不是使用了多先进的算法，而是在数据质量、实验规范和系统可靠性等基础层面的执行水平。一个拥有严格数据审查流程的团队，哪怕只用最基础的模型，也往往能胜过一个使用前沿架构但数据质量失控的团队。

这也解释了为什么许多顶尖的AI研究者和工程师都强调"动手看数据"、"简化系统"、"先排除显而易见的错误"。他们不是不懂复杂技术，而是深知复杂技术往往不是问题的真正答案。

给AI实践者的行动清单

下次当你的AI系统效果不理想，先不要急着去找复杂的解决方案。不妨按照以下清单逐项自查：

1. 我真的认真看过数据吗？ 不是看统计摘要，而是逐条浏览真实样本。抽样100-200条数据亲眼过一遍，往往比任何统计指标都更能揭示问题所在。
2. 需求和prompt表达得足够清晰吗？ 换一个不了解背景的人来读，能否理解你的意图？尝试加入Few-shot示例和明确的输出格式要求，看效果是否有改善。
3. 评估体系是否可靠？ 评估指标是否真正反映了业务目标？评估样本的数量和多样性是否足够？有没有引入人工抽检来校准自动评估的准确性？
4. 是否存在没排查过的低级错误？ 数据管道、预处理逻辑、调用参数，每一步都值得检查。特别关注数据格式转换、编码处理和API调用参数等容易被忽视的细节。

很多时候，答案确实很简单——你只是还没有去做那些显而易见就该做对的事。

先把简单的事做对，再去追求复杂的优化。 这是一条朴素却极其有效的AI工程原则。它不意味着复杂技术没有价值，而是说复杂优化只有建立在坚实的基础之上才能真正发挥作用。地基不牢，再精巧的上层建筑也终将倾塌。