[控场AI]
· 8 分钟阅读· 4,401 字

数据爬取、AI证明与开源契约:本周技术圈深度观察

数据爬取、AI证明与开源契约:本周技术圈深度观察

本周技术圈围绕数据开放、数学验证、AI编排与软件持久性展开讨论,核心是系统能否被检验与继承。

文章以三个3D模型社区被爬虫抓取事件为引,指出争议不在复制而在失联——研究者请求无人回应,社区无法获得权重回馈。随后讨论OpenAI在复杂度理论结果上采用Lean形式化与GitHub公开验证,与物理组保守策略形成对比;Brooks定律在AI智能体场景下并未失效,通信与编排成本只是转移;抑郁症的六条节律标准可通过手机测量,降低诊断门槛;Debian开发者以DFSG理由拒绝LLM审查,并提出可操作的验收标准;Windows旧程序34年持久运行则说明持久性来自承诺而非代码。全文贯穿一个主题:开放是系统可被检验、继承与修复的前提。

当爬虫学会「礼貌」:3D模型社区的开放与失联

一个自称为「Trellis 2 数据采集」的爬虫在10月中旬用34小时、26,000次请求扫荡了Oven Sunday Lab、SFM Lab和SmartBass三个3D模型社区。它读取了近19,000个项目首页,下载了1,027个完整文件,总计145GB。关键在于它全程使用可识别身份的用户代理,并附带了roblox.com的邮箱和AWS地址,甚至安排了午休和请求速率递减。

这不是偷偷摸摸的抓取,而是一次有组织的数据采集行动。技术动机不难理解:语言模型有万亿级token,而3D领域最大的开放网格数据集Objiverse不到百万级观测,其中还多为未贴图扫描件或CAD导出。真正稀缺的是带骨骼、权重和拓扑的绑定角色模型——而这些恰好是三个社区积累十年的精华。

For a specific reason.

争议焦点不在「复制」,而在「失联」。研究者发出两封邮件到那个地址,roblox均未回应。一个以真实身份发起请求的人,请求和其背后的机构都没有得到回复。这形成了一个单向阀:数据从社区流向平台模型,而建模者无法下载、检查或运行任何东西。社区评论的诉求很清晰——拿走数据,就公开权重。Objiverse之所以能成为基础,正因为它开放。

Objaverse 是 Allen Institute for AI 于 2022 年发布的大规模 3D 物体数据集,包含约 80 万个由 Objaverse 1.0 从 Sketchfab 等平台抓取的 3D 模型及其元数据,后续 1.0 版本扩展至 80 万以上。它常被视为 3D 视觉领域的“ImageNet 时刻”,因为在此之前公开可用的 3D 网格数据规模小、标注稀薄。但 Objaverse 的模型多为静态扫描件或 CAD 导出,缺少骨骼绑定、蒙皮权重和动作数据,难以直接用于动画或具身智能研究。文章提到“最大开放网格数据集不到百万级观测”即指此类数据集的规模瓶颈,而带骨骼与权重的角色模型在三个社区中以数十年积累的形式存在,正是稀缺性的来源。

数学证明的「公开性」正在被重新定义

本周有三项新发现分别来自数学、计算机科学和物理学。最引人注目的是OpenAI同步宣布的三个成果——调和分析、复杂度理论和量子场论各一项,却采用了三种不同的发布策略。

复杂度组的声明尤其大胆:一个确定性算法,能精确计算任意合取范式公式的可满足解数量,快到足以推翻指数时间假设(ETH)。这个假设是大量下界结果的承重墙。工作组的第一决定是立即发布自然语言证明、Lean形式化验证和GitHub仓库,任何有笔记本电脑的人都能下载并运行验证器。

这与1971年Harlan Mills提出、Brooks在《人月神话》第三章中支持的「首席程序员团队」有异曲同工之处:关键不是谁做,而是结构能被公开检验。相比之下,物理组选择了内部撰写、等待发布。播客中的比喻很精妙:理解像一个发酵菌种,不是你能占有的物质,而是必须递给其他厨房才能存活的群体。

A jar on one counter is not a tradition.

一个被忽视的问题是:两个实验室在数小时内发布类似边界,一个在PDF里,一个在Google Drive里,都没有机器可验证性。而定理本应是最开放的人类产物——它不在乎谁证明、在哪个页面上首发。目前验证仍依赖对两个组织的信任,这是本月可以修复的条件。

当AI开始写代码:Brooks定律还成立吗?

「向已延误的项目增加人力只会让它更晚。」Brooks在1975年基于IBM OS/360的经验写下这句话。50年后,问题变成了:当新加入的是智能体进程时,这条定律还成立吗?

表面上,智能体的入职成本为零,休息时间为零。但Brooks真正衡量的是通信路径——它随参与者数量的平方增长。九个智能体在同一代码库上无编排运行,会以机器速度互相覆盖。顺序任务仍然是顺序的。总得有人定义「完成」、审查输出、捕捉编造和缝合碎片。开销转移了,但并未蒸发。

1971年Mills提出的「首席程序员团队」——一个外科医生写代码,配一个副手、管理员、工具匠、测试员和语言律师——过去受限于每个支持角色都是稀缺的人力。如今这个组织结构变得可构建:一个工程师,加一个工具匠进程、一个测试员进程、一个文档进程。55年前纸上画的团队结构,正在被本月的人们重新发现。但值得警惕的是:模型权重不是有趣的产物,组织图才是。而现在编排模式大多存在于私有脚手架和未共享的配置中。

Brooks 定律出自 Fred Brooks 1975 年的《人月神话》(The Mythical Man-Month),原文表述为“向一个已经延误的软件项目增加人力只会让它更晚”。其核心论据是软件工程中的通信开销:n 个开发者之间需要维护的沟通渠道约为 n(n-1)/2,随人数平方增长,而任务拆分与集成本身也消耗时间。Brooks 还区分了“可分解任务”与“顺序依赖任务”,后者无法通过并行加速。文章将这一框架迁移到 AI 智能体场景,指出智能体虽无入职与休息成本,但编排、审查与定义“完成”的成本仍然存在,因此通信开销并未消失而是转移。

首席程序员团队(Chief Programmer Team) 是 Harlan Mills 于 1971 年提出的软件组织结构,后由 Brooks 在《人月神话》第三章中讨论。其构想是围绕一名首席程序员组建小型专业化团队:首席负责全部核心设计与编码,副手协助并承担部分实现,另有管理员、工具匠、测试员、语言律师和文档编辑等角色,各司其职以减少沟通路径。Mills 在 IBM 内部曾以该模式完成纽约时报剪报系统等项目,证明其可行性。文章指出,过去该模式受限于每个支持角色都是稀缺人力,而 AI 智能体可以低成本扮演工具匠、测试员等角色,使这一 55 年前的纸上结构重新具备可构建性,但编排模式本身仍多存于私有脚手架中。

诊断与理解:从睡眠节律到从零构建推理模型

悉尼团队在澳大利亚抑郁症遗传研究中分析了11,380人,发现四分之一的抑郁症患者符合六条可观察标准:季节性情绪波动、睡眠中点后移、社交时差、晚睡型、允许时睡得长、早晨疲惫。如果疾病是相位错误而非神经递质缺陷,那么调节血清素的药物可能在错误层级上工作。

评论中一针见血:这等于宣布「科学家发现夜猫子,而社会在强迫他们执行破坏性时间表」。病理可能部分存在于朝九晚五的制度中。而诊断所需的数据——季节性、两个睡眠中点、睡眠类型、睡眠时长、早晨疲劳——一部手机加便宜的体动记录仪就能测量。6条标准都能家庭化测量,这让诊断不必依赖实验室。

Now break the sync, not the individual clocks, just the phase relationship between them.

另一边,Sebastian Raschka发布了8个视频、11小时的「从零构建推理模型」课程,用Python和PyTorch在小型预训练模型上手工实现评估、推理时缩放、可验证奖励的强化学习和蒸馏。预训练被跳过——那是花钱的部分;推理层是花理解的部分。而推理后训练恰恰是现代技术栈中守得最紧的一环:实验室发布架构却扣留配方。现在这个配方被写成可读的PyTorch代码,在开放权重上录制下来。门槛的消失是自愿的。

Debian的诚实拒绝与旧软件的持久契约

Debian开发者Johannes Schauer表示,在能够选择退出自动审查之前,他将停止向NEW队列上传新软件包。NEW是全新源码包进入档案馆前等待人工检查许可证和版权的队列。他的理由精确到可以写成验收标准:如果LLM有bug,我无法修复它——模型是二进制块。这是用Debian自己构建的词汇表达的一个DFSG论点。

解决方案其实清晰:开放权重而非二进制块、温度设为零并固定修订版本以保证输出可复现、公开提示词以便审计、在debian/control中加一个关闭字段。有人用一行话概括了全部:「请勿使用LLM」出现在上传中即抑制审查。那是一个下午的工作量,也许两个。这展示了批评的纪律性——开发者看着管道中的新工具,逐条指明什么才能让它合法。

What does a new review actually need to be?

另一个故事关于持久性。一位开发者寻找能在Windows 11上无模拟层运行的最老图形程序,答案是1992年11月16日链接的CDPlayer.exe——34岁,还能启动、绘制窗口,配上虚拟光驱就能播放音频。而逆转录棋(Reversi)从1985年运行,但只能通过一个重新实现16位层的开源项目。供应商履行了34年的契约,然后停止了。某个在公开环境中工作的人接手继续。持久性不是代码的属性,而是围绕它的承诺的属性。

DFSG(Debian Free Software Guidelines,Debian 自由软件指导方针) 是 Debian 项目判定软件是否属于自由软件的社会契约附件,也是开源定义(OSD)的直接来源。其核心要求包括:可自由再分发、提供源代码、允许修改与派生作品、不得歧视个人或群体、不得歧视使用领域、权利随软件一同传递等。DFSG 的关键在于它要求的是“可修复性”与“可审计性”,而不仅仅是免费获取。文章提到 Schauer 的反对是“用 Debian 自己构建的词汇表达的 DFSG 论点”,正是指 LLM 作为二进制块无法满足源码可修改、行为可复现的要求,因此与 DFSG 精神冲突。

开放与封闭之间的张力

本周的多个故事指向同一个主题:开放不是道德姿态,而是系统能否被检验、被继承、被修复的前提。爬虫带走数据却不公开权重,是单向阀;数学证明被锁在PDF里,验证退化为信任;AI审查工具是二进制块,缺陷无法被修复;Windows旧程序因供应商停止而依赖开源社区续命。

反过来,Objiverse、Lean形式化、可下载的推理模型课程和公开的接口文档,展示了一条不同的路径:拿走后公开,复制后可检验,依赖后能接管。技术圈本周的讨论,表面上是爬虫、数学和模拟器,内核却是同一个问题——你建造的东西,是否允许别人下载、运行和继续?

#数据爬取#Lean形式化验证#AI智能体#开源协议#指数时间假设#3D基础模型
分享:

相关推荐