LLM能力认知鸿沟正在扩大：我们对AI的理解为何分裂

一场关于AI能力的认知分裂

大语言模型（LLM）发展至今，一个耐人寻味的现象浮出水面：人们对LLM到底能做什么、不能做什么的理解正在加速分化。原始讨论的标题点明了核心——「关于LLM能力的共识正在瓦解，认知鸿沟不断扩大」。

这不是简单的「乐观派 vs 悲观派」之争，而是一种更深层的割裂：不同的使用者基于截然不同的使用经验，对同一类工具得出了几乎相反的结论。有人认为它已经能胜任复杂的工程任务，有人却坚持它连基本的事实准确性都无法保证。双方都能拿出大量真实案例支撑自己的立场。

需要说明的是，本文基于 Hacker News 上的一则讨论线索展开分析，原始素材本身信息有限，更多属于观点性话题的梳理，而非实证研究结论。

为什么会出现这种鸿沟

使用方式的巨大差异

同样一个模型，不同的人用出了完全不同的效果。熟练的使用者懂得如何构造上下文、拆解任务、迭代提示，能把模型的能力压榨到极致；而缺乏经验的使用者可能只是随手丢一个模糊问题，然后对糟糕的输出大失所望。

这种差异导致「LLM能力」本身成了一个难以统一定义的概念。当我们说「LLM能不能写代码」时，答案高度依赖于谁在用、怎么用、用来做什么。能力的边界不再由模型本身唯一决定，而是由「人机协作质量」共同决定。

这种现象在研究界被称为"提示敏感性"（prompt sensitivity）——同一个模型对措辞细微不同的指令可能给出质量差异显著的回答。一系列学术研究表明，仅仅调整问题的表述顺序、添加角色设定或要求模型"逐步思考"（即链式思维提示，Chain-of-Thought），都能让准确率在同一任务上产生数十个百分点的浮动。这意味着"模型能力"在很大程度上是一个人机交互系统的整体属性，而非模型单独的固有属性。对普通用户来说，这种敏感性是一道无形的门槛：缺乏提示工程经验的人，接触到的实际上是一个被严重低估的模型；而掌握技巧的人则在使用一个截然不同的工具。这也解释了为何「会用」和「不会用」之间的体验差距，有时甚至大于不同代际模型之间的能力差距。

任务领域的分化

LLM在不同领域的表现差异极大。在有大量训练数据、模式清晰的任务上（如常见编程语言、通用写作），它表现惊艳；而在需要精确推理、长链条逻辑或冷门专业知识的场景中，它经常出错且难以察觉。

一个只用它写营销文案的人，和一个用它处理复杂法律推理的人，自然会形成天差地别的印象。这种领域性的能力分布，使得「它好用」和「它不可靠」可以同时成立。

鸿沟扩大带来的现实问题

沟通成本上升

当团队内部对AI工具的能力缺乏共识时，协作会变得困难。一方力推在工作流中深度集成AI，另一方则警惕其输出风险，双方往往谈不到一起去，因为他们对「这个工具到底靠不靠谱」的基本判断就不一致。

决策容易走极端

认知鸿沟还会投射到组织和产品决策层面。盲目乐观者可能把关键流程交给尚不成熟的自动化，埋下隐患；过度悲观者则可能错失真正能提效的场景。两种极端都代价高昂。

评测标准的缺失

深层原因之一，是我们缺乏被广泛认可的、贴近真实使用场景的能力评测体系。现有的基准测试（benchmark）往往与实际应用脱节，分数高不代表好用，这进一步放大了主观经验的话语权，让「我用着挺好」和「我用着很差」各执一词。

现有主流基准测试（如MMLU、HumanEval、GSM8K等）设计之初主要面向学术比较，侧重于测量模型在封闭题目上的准确率，而非衡量其在开放式、多轮、有歧义的真实工作流中的表现。以HumanEval为例，它测试模型能否补全孤立的函数片段，但实际工程中更常见的是在大型代码库中定位问题、理解业务逻辑并进行跨文件修改——两者对模型的要求截然不同。更棘手的是"污染问题"：由于互联网上存在大量对这些基准题目的讨论，模型在训练时可能已经"见过答案"，导致测试分数虚高。这些结构性缺陷使得榜单分数与用户实际体验之间的鸿沟越来越宽，也是为什么一款在基准测试上领先的模型，在具体业务场景中未必比上一代更好用。

如何缩小认知鸿沟

要弥合这种分裂，关键或许不在于争论「LLM到底强不强」，而在于把讨论拉回到具体语境：

明确任务边界：讨论能力时，先说清楚是什么任务、什么领域、什么质量要求；
沉淀使用方法：把高质量的提示工程和协作经验显性化、可复用，缩小「会用」和「不会用」之间的差距；
建立贴近实战的评测：用真实工作流中的任务来衡量模型，而非抽象分数；
保持经验更新：模型迭代速度极快，几个月前的结论可能已经失效，固守旧印象本身就是鸿沟的来源之一。

写在最后

LLM能力认知的分化，本质上反映了一项快速演进的技术在普及过程中的典型阵痛。工具越强大、应用场景越广，人们基于局部经验形成的判断就越容易彼此冲突。承认这种鸿沟的存在，比急于站队更重要——它提醒我们，任何关于「AI能不能做某事」的笼统论断，都值得先追问一句：在什么条件下？