每日AI新鲜事·08月05日早间版：LLM奖励专业度与Fable翻车

今天AI圈的消息挺有意思，有个视频标题特别扎眼——Fable把人家应用搞坏了，还修不回来。

对，我也看到了，YouTube上有人发了个视频，标题就是Fable Broke My App and Couldn't Fix It。

这就很尴尬了，Anthropic最新的模型，号称能力最强，结果在实际项目里翻车。

其实这种事不少见。模型能力强不代表在所有场景都稳定，特别是涉及到复杂代码库的时候，上下文理解一旦偏了，后面越改越乱。

对，就像你让一个特别聪明但不熟悉项目的新人改代码，改出更多bug也不奇怪。

关键是用户的期望值被拉得太高了，觉得最新模型应该什么都能搞定。

好，第二条，HN上有个YC S26的新项目EdotEnv，做量化交易的强化学习环境，目标是教LLM做研究。

这个方向挺有意思，用RL环境让大模型学量化研究的思维方式，不是直接做交易，是教它怎么做research。

算是把LLM当研究员来训练，而不是当交易员。

对，定位很清楚。不过现在分数不高，才7个点，可能还在早期验证阶段。

第三条也是HN上的，有篇文章说Web security is too hard，拿了71分15条评论。

这篇文章的观点其实不新，但放在AI时代更值得聊。现在大量应用是AI生成的代码，安全问题只会更严重。

确实，代码写得快了，安全审计的压力反而更大了。

所以昨天我们聊过Uber开源的ADR项目，做Agent安全防护的，某种程度也是在回应这个趋势。

还有一条，HN上有人做了个叫cMCP的项目，可以拒绝AI Agent的工具调用，还能生成签名回执。

这个我觉得很实用。Agent越来越自主，你得有个机制说不，而且说不之后要有记录、有凭证。

等于给Agent加了个带审计功能的刹车。

没错，跟之前Port22那种把审批搬到手机端的逻辑是一脉相承的。

好了新闻就先聊到这儿，接下来我们聊聊一个特别火的话题——LLM奖励专业度。

对，HN上这篇文章LLMs reward expertise，124分42条评论，讨论非常热。

这个标题就很有意思。所以它的核心观点是什么？你越专业，从LLM那儿获得的价值越大？

对，核心论点就是这个。LLM不是在消灭专业性，而是在放大专业性的回报。你懂得越多，你越能从模型那儿榨出好东西来。

这跟很多人的直觉是反着来的啊。大家总觉得AI会拉平差距，让小白也能干专家的活。

表面上看是这样，但实际上有个很简单的道理——你得知道该问什么问题，才能得到好答案。

专家知道什么是对的、什么是错的，能快速判断模型输出的质量。小白连模型胡说八道都分辨不了。

这一点我在工作中确实有感触。比如有人用AI写产品文档，如果本身就不理解业务逻辑，生成的东西看着像那么回事，其实全是坑。

就是这个意思。LLM输出的东西有个特点——表面plausible，细节可能全错。你没有领域知识就没法做quality control。

所以HN评论区大家在争什么呢？

主要分两派。一派说这个观点正确，LLM本质是放大器，放大你已有的能力。另一派觉得这个结论太绝对了，在某些入门场景，LLM确实能帮小白跨过门槛。

两边说的好像都有道理？

我的看法是，短期任务上LLM确实能帮小白速成，但一旦任务变复杂、变长期，专业度的优势就会指数级放大。

你想想刚才那个Fable翻车的例子——如果用户本身是个经验丰富的开发者，他在Fable开始偏离方向的时候就能纠正，不会等到整个应用坏掉才发现。

这个串联确实很有说服力。那这篇文章为什么现在特别火呢？

我觉得跟行业现状有关。现在AI编程工具、AI Agent到处都是，很多人经历了从兴奋到幻灭的过程。

一开始觉得AI万能，用了一段时间发现坑很多。这时候有人出来说，关键在于你自己的专业度，大家就特别有共鸣。

对，这其实给从业者吃了颗定心丸——不是你要被AI替代，是你得学会跟AI协作，而协作的前提是你得有真本事。

没错。我再延伸一下，这跟之前那篇Web security is too hard也有关系。安全领域就是典型的专业度极高的领域，AI写的代码安不安全，最终还是得安全专家来把关。

所以结论是，AI时代的T型人才变得更值钱了——横向你得知道AI能干什么，纵向你得在自己领域足够深。

对，我甚至觉得纵向比以前更重要。因为AI把横向的门槛降低了，稀缺的就变成了深度。

这个逻辑我买单。好了，今天就先聊到这儿吧。

嗯，总结一句话——别怕模型太强，先把自己变强。

说得好。各位中午见！