每日AI新鲜事·09月03日晚间版：Fable 5.1发布与CPU端BERT加速

今天AI圈的消息不算特别炸裂，但有几条挺实用的，咱们先快速过一下。

第一条是Reddit的learnmachinelearning板块上有人分享了四个让mmBERT分类在CPU上跑得更快的技巧。

他们团队要在没有GPU的普通机器上跑mmBERT做分类，折腾了很久，最后总结出几个关键优化点，第一个就是量化，而且要比你以为的推得更狠。

这个其实挺有实战价值的。很多公司的线上推理环境就是CPU，尤其是BERT这种分类模型，又不是生成任务，没必要上GPU。

量化是老生常谈了，但很多人还是不敢往INT8甚至更低推，怕掉精度。实际上对分类任务来说，精度损失往往比想象中小很多。

对，业内很多团队其实卡在心理门槛上，总觉得量化会崩，但不试永远不知道。

而且配合ONNX Runtime之类的推理框架，CPU上跑BERT分类做到毫秒级延迟完全可行，这帖子值得做推理优化的同学看看。

好，第二条也是Reddit上的，MLOps板块有人在吐槽AI检测工程和SIEM的成本问题。

这哥们说他一直听人讲AI检测工程能帮他们从SIEM天价账单里解脱出来，但实际上每个月数据摄入那栏的费用看着跟交税似的。

得了吧，SIEM的账单问题跟AI检测工程其实是两回事。数据摄入量大是根因，你换什么方案数据量在那摆着呢。

确实，安全领域的成本焦虑一直都在，AI能帮忙做更智能的过滤和告警聚合，但想靠它砍掉底层存储和摄入费用，不太现实。

第三条，同样是MLOps板块，有人说他们公司训练在GCP、推理在AWS，两边的AI风险态势完全没法统一评估。

这种情况太常见了，ML团队三年前选了GCP，后来没人质疑，推理又跑到AWS上了，典型的技术债。

多云架构听起来高大上，实际操作起来安全合规和成本管理都是噩梦。

关键是AI workload的安全和传统workload不一样，模型本身、数据管线、推理端点，每个环节的风险面都不同，跨云就更难统一治理了。

好了新闻就先聊到这儿，接下来咱们聊聊一个这两天讨论度特别高的话题。

B站上有个AI早报视频火了，互动量非常高，讲的是Anthropic限制编辑上下文来防范蒸馏攻击，以及Fable 5.1发布和系统提示词泄露的事。

这个话题确实值得展开聊。先说Fable 5.1吧，Fable 5之前就已经是Anthropic最新的模型了，现在5.1出来，迭代速度很快。

对，而且这次伴随发布还出了系统提示词泄露的事情，这个其实挺敏感的。

系统提示词泄露这事吧，从技术上说几乎是不可避免的。你跟模型对话，系统提示词就在上下文里，总有办法套出来。

但对企业客户来说这是很大的问题啊，很多人把核心业务逻辑写在系统提示词里。

没错，所以这其实是个架构设计问题。你不能把核心逻辑全塞进prompt里然后指望模型帮你保密，这本身就不靠谱。

那更值得聊的是另一半——Anthropic限制编辑上下文来防蒸馏。李博你怎么看这个动作？

这个才是真正的大事。所谓蒸馏攻击，简单说就是有人通过大量调用API，把大模型的输出当训练数据，去训一个小模型。

等于是用别人花几亿美金训出来的模型，低成本复制一个差不多的出来。

所以Anthropic限制编辑上下文，本质上是在堵这个漏洞？

对，通过限制你对上下文的操控能力，让你没法高效地构造蒸馏所需的输入输出对。这是从产品层面做的防御。

但这会不会影响正常用户的体验？毕竟编辑上下文是很多高级用法的基础。

这就是矛盾所在。防蒸馏和用户体验之间天然有张力。你限制得太死，正常开发者也受影响；限制太松，蒸馏的人照样钻空子。

我觉得这背后其实反映了一个更大的趋势——模型公司越来越把模型本身当核心资产来保护了。

小雨说到点子上了。之前大家关注的是数据安全、用户隐私，现在模型公司自己也开始担心被薅羊毛了。

尤其是现在开源模型越来越强，如果再被蒸馏一波，闭源模型的护城河就更窄了。

而且之前我们聊过Anthropic套餐实际用量和宣传不符被起诉的事，现在又搞限制，用户那边的信任成本其实在累积。

确实，一边是套餐倍率缩水的争议，一边又加限制，PR上不太好看。但站在Anthropic的角度，防蒸馏确实是刚需。

那你觉得其他模型公司会跟进吗？比如OpenAI或者Google。

大概率会。蒸馏攻击不是Anthropic一家的问题，是所有API模型服务商都面临的。只是Anthropic先公开动手了。

而且未来可能不只是限制上下文编辑这么简单，可能会在输出端加水印、在API层做更细粒度的调用模式检测。

说到水印，这其实是另一条技术路线了。不限制用户操作，但在输出里埋标记，事后追溯。

对，但水印的鲁棒性一直是个难题，稍微做一下paraphrase就可能洗掉。所以现阶段还是限制调用行为更直接有效。

所以总结一下，Fable 5.1发布是常规迭代，但防蒸馏限制这个动作可能会成为行业标配。

没错，这其实是AI商业模式自我保护的必然演进。模型公司从卖API到守API，这个转变值得持续关注。

行，今天就聊到这儿，明天见。

明天见。