每日AI新鲜事·09月12日晚间版：ANE逆向与DeepSeek V4实测

今天AI圈的消息挺杂的, 从底层芯片逆向到上层模型对比都有. 我们先快速过几条新闻, 然后聊聊最近视频区特别火的几个话题.

第一条, HN上今天有篇帖子热度很高, 是关于苹果ANE的逆向工程研究. ANE就是Apple Neural Engine, 苹果A系列和M系列芯片里的专用AI加速器.

这东西苹果一直不出官方文档, 对开发者来说就是个黑盒. 结果社区自己搞逆向, 把指令格式和内存布局基本摸清楚了.

小雨, 这篇我也看了, 核心结论特别关键. ANE本质上是个固定功能的数据流引擎, 只擅长卷积和矩阵运算. 你要是用了它不支持的算子, 直接回退到CPU或者GPU跑.

他们管这个叫全有或全无特性. 就是说你写的模型里有一个不兼容的算子, 整个任务就掉下去了, 不是降速, 是完全切换执行单元.

等一下, 那对开发者来说意味着什么? 是说设计模型的时候就得特别注意算子选择?

对, 三点实操建议. 第一优先用ANE友好的算子, 第二精度选FP16, 第三减少设备间的数据搬运. 数据在CPU和ANE之间反复倒腾, 开销很大的.

不过文章也说了一个局限性, 就是ANE的实现每一代芯片都在变. 所以逆向出来的东西不能当成稳定的生产依赖, 随时可能失效.

这就有点尴尬了. 费了这么大劲逆向, 结果苹果一出新芯片就得重来. HN上大家怎么说?

分两派. 一派觉得苹果这种不开文档的做法就是在故意设门槛, 恶意的. 另一派说苹果内部自己用CoreML封装好了, 开发者本来就该走高层API, 不该折腾底层.

但我觉得这篇研究本身价值挺高的. 就算是了解ANE的设计思路, 对做端侧AI部署的人也很有参考价值. 至少你知道它的边界在哪里.

有道理. 好, 接下来说说Reddit那边的消息. 有人做了个MiniMax H3视频生成模型的实测, 在四个云GPU平台上跑, 测了时间和成本.

结论挺有意思, 用Vast.ai上的RTX 4090跑, 最低只要每段视频零点零一三美元. 比H100便宜将近三倍.

这个数据我看到的第一反应是, 4090这张消费级显卡竟然在成本上打赢了H100? 但仔细看逻辑就通了. 短任务的大头成本其实是冷启动和六十七GB权重下载的开销, 不是纯算力.

所以H100算力强但便宜不了, 因为单次任务启动成本摊不下来?

对, 就是这个逻辑. 如果你是跑大批量长任务, H100才能体现优势. 短视频生成这种场景, 4090的性价比反而碾压. 这提醒了很多做视频AI工具的独立开发者, 选卡要看场景.

然后还有一条, 也是Reddit上的. 有人在ComfyUI里问怎么在绿幕前生成大规模人群, 还要保持面部细节. 这个需求听起来很正常但其实挺矛盾的.

矛盾就在于扩散模型的像素预算是固定的. 人越多, 每张脸分到的分辨率越低, 远景人脸直接糊掉. 社区给出的方向是先生成整体布局再对每张脸单独重绘修复.

好, 最后两条快过一下. 一篇是LocalLLaMA的帖子, 说不需要专门微调就能让LLM表现得像人. 核心是写角色背景故事, 提供示例对话, 然后把人类说话习惯翻译成具体指令.

里面有个点我觉得特别对, 就是描述你想要什么比禁止你不想要什么更有效. 因为你反复强调一个概念, 哪怕是否定的, 模型注意力里这个词的权重还是会升高.

然后还有一篇arXiv论文, 研究神经网络的grokking现象. 就是模型训练时先记忆, 然后突然出现泛化跃迁的那个现象. 这篇找到了幂律规律, 说增加数据比扩大模型更能加速泛化.

数据复杂度的指数是负二点零四, 模型宽度才负零点二七. 这个差距挺大的. 简单说就是, 与其把模型变宽, 不如给更多更难的数据, 泛化来得更快.

好了新闻先到这儿, 接下来我们聊聊最近视频区特别火的一个话题, 就是AI编程工具和国产模型的对比评测.

B站最近有几个视频互动量都挺高的. 一个是对比Opencode Go和Command Code谁是最强AI编程工具, 另一个是DeepSeek V4 Pro和V4 Flash对比GLM 5.3的实测, 互动分将近一万一.

小雨, 这两个话题其实是有关联的. 编程工具之争的底层是模型能力之争. Opencode Go订阅里能用Muse Spark 1.2, 这本身就说明工具平台在拼接入的底座模型.

对, 而且你看这个DeepSeek V4的对比视频, 标题就写着消耗爆炸. 我感觉大家现在测模型, 不只看效果了, 开始认真算token消耗了.

这是一个很重要的信号. 过去两年大家卷的是谁的效果更好, 现在开始卷的是谁的效果和成本比值更好. 这说明AI应用已经进入了算账阶段.

V4 Flash这个版本的定位就是低成本高速度. 它对比V4 Pro肯定是能力弱一些的, 但如果一个任务用Flash就够了, 你用Pro就是在浪费钱.

不对吧, 我觉得这里有个问题. 对普通用户来说, 怎么知道自己的任务用Flash够还是要上Pro? 这个判断本身就有成本啊.

你这个问题问得很好. 现在很多工具在做的事情就是自动路由, 根据任务复杂度决定调哪个模型. 这本身就是个工程难题.

但我觉得更有意思的问题是, GLM 5.3这次被拉进来对比. 国内几个大模型已经开始真正进入同场竞技了. 不是各自发个跑分就算了, 是有人拿同一套任务同时测.

说到这个, 你怎么看编程工具这边的格局? Opencode Go和Command Code这种对比, 背后是什么在较劲?

背后较劲的维度有三个. 第一是接了哪些底座模型. 第二是工作流设计, 比如上下文管理和多步骤任务的稳定性. 第三是价格和配额.

Opencode Go能用Muse Spark 1.2, 这个模型本身我们信息不多, 但光是出现在编程工具的订阅里, 说明它在代码场景的表现过了门槛.

你觉得现在这些编程工具, 最核心的竞争力到底在哪? 是模型本身强还是工具层的包装更重要?

我的观点是, 模型是天花板, 工具层决定你能不能摸到这个天花板. 底座模型差, 包装再好也没用. 但底座模型同等情况下, 工具体验就是决定因素.

所以现在这批工具都在做的事情, 就是一边压模型成本, 一边打磨工作流体验?

对, 而且你可以看到这个趋势在国内外是同步的. Cursor和Windsurf这边在打, 国内Opencode Go这些也在打. 战场是全球化的.

我觉得这次DeepSeek V4的对比视频能跑到将近一万一互动, 背后还有一个原因. 就是大家对国产模型的关注度真的起来了. 不只是爱国情绪, 是真的觉得能用.

这个观察我同意. DeepSeek这两年做到的一件事是, 让国内用户觉得本土模型不是备胎, 是真选项. V4 Pro在很多场景下确实不输头部的国际产品.

但Flash这个版本呢? 有没有可能它跑出来的效果让人觉得为了省成本牺牲太多?

这就要看测的是什么任务了. 代码补全这种高频低复杂度任务, Flash完全够用. 但你让它做多步骤的架构设计或者跨文件重构, 可能就会暴露差距.

所以结论就是, 没有绝对的最强工具或者最强模型. 看你的任务类型和预算. Flash加好工具, 在特定场景完全可以打败Pro加差工具.

总结一下吧. 今天这几个B站热门视频背后反映的是同一件事, AI编程工具进入了精细化选型阶段. 用户不只看谁效果好, 开始认真算效果除以成本这道题了.

对, 而且国产模型在这个阶段拿到了真实的竞争席位. 不管是DeepSeek系列还是GLM这边, 都在被拿来和国际产品正面对比. 这在两年前是很难想象的.

行, 今天就聊到这儿. 周末愉快, 明天见.