Codex+AI爬虫：24小时自动抓取AI热点，搭建选题捕捉器

为什么需要AI热点捕捉器？

科技区内容创作者每天面临信息过载：B站、GitHub、行业媒体……各种AI资讯层出不穷。手动筛选不仅耗时，还容易漏掉真正有价值的干货。B站UP主分享了一套用Codex搭配AI爬虫平台搭建的「AI热点捕捉器」，能24小时自动抓取视频标题、发布时间、播放量和原链接，过滤掉90%的标题党垃圾，每天8点推送选题榜单。

这套系统的核心思路很清晰：Codex负责搭建框架、筛选和整理，采集部分交给专门的AI爬虫平台。这样既降低了开发门槛，又解决了爬虫持续运行和维护的难题。

三步搭建：从框架到数据接入

第一步：用Codex定义需求与框架

打开Codex，直接告诉它你要收集不同来源的AI内容，每条保留标题、来源、发布时间、热度指标，然后筛选生成一份可点击回原文的选题榜。Codex会先搭好页面和数据格式，但要让榜单持续更新，还需要稳定的真实数据源——这正是下一步要解决的问题。

Codex 是 OpenAI 推出的 AI 编程助手，能够根据自然语言描述生成代码、搭建项目骨架并完成调试。与通用对话模型不同，Codex 更擅长理解开发意图并产出可运行的代码结构。在本方案中，它承担的是"总架构师"角色：先把页面布局、数据字段和筛选逻辑定义清楚，再为后续接入真实数据预留接口。这种用自然语言驱动开发的方式，让没有爬虫经验的内容创作者也能快速搭出一个可用的原型。

第二步：用AI爬虫平台采集视频数据

进入「量数据」平台（Blood Data Squipper Studio），新建一个网页爬虫，填入要采集的AI分区页面链接，补充采集要求：抓取公开视频，保留标题、时长和原链接。

点击生成后，平台会先给出字段表。检查字段和类型无误，点击「Apply」让AI生成爬虫。爬虫生成后运行一轮采集，在Runs页面核对实际抓取条数和失败情况。据UP主介绍，平台会展示交互代码和解析器代码，且代码归用户所有，后续增加字段或调整逻辑都能直接修改。

网页爬虫通常由交互代码和解析器两部分组成。交互代码负责模拟浏览器行为、发起请求并处理翻页与等待，解析器则从返回的 HTML 或 JSON 中按规则提取目标字段（如标题、时长、链接）。传统爬虫需要开发者手写这两部分，并自行应对反爬、代理和验证码。AI 爬虫平台则根据用户填写的字段表自动生成这两段代码，并允许用户查看和修改源码，从而在降低门槛的同时保留可维护性。

第三步：接入Codex并生成榜单

爬虫跑通后，通过API初始化获取爬虫ID，复制下来发给Codex，让它调用这只爬虫把采集结果接入热点捕捉器。数据返回后，Codex就能统一字段、筛选并生成选题榜。每条选题都保留原视频链接，方便点回去查看。

最后回到量数据的Runs页面，下载原始JSON或CSV，与生成的榜单对照标题、时间、播放量，确认一一对应。

持续运行与维护：AI自修复是关键

热点捕捉器需要每天运行，最怕网站改版导致抓取失效。这套方案内置了「Soft Healing」功能：遇到页面结构变化时，AI会分析失效原因并给出修改建议，确认后复跑验证数据是否恢复。UP主表示，这样日常维护就不用每次从头排查了。

网站改版导致爬虫失效是数据采集中的常见问题。页面结构一变，原先依赖的 CSS 选择器或 XPath 路径就可能找不到目标元素，抓取结果随之变空或错位。传统做法需要人工逐条比对页面源码、定位失效的选择器并手动修改。Soft Healing 的思路是让 AI 对比新旧页面结构，推断出失效原因并给出修正建议，用户确认后重新运行验证，从而把"排查—修复—验证"的循环压缩到一次对话之内。

这套方案适合谁？

对于内容创作者、运营人员或需要追踪AI动态的研究者，这套组合降低了自建数据管道的门槛。自己写爬虫需要处理代理、验证码和网站改版，而借助AI爬虫平台，这些底层问题被封装起来，用户只需描述需求。

不过需要注意：采集公开视频数据时，应遵守平台规则和相关法律法规，仅用于个人学习或研究。另外，UP主未提及平台是否收费，实际使用前建议了解清楚。

总体来看，Codex+AI爬虫的思路提供了一种轻量化的自动化选题方案——把「做榜单」和「拿数据」拆开，各自交给擅长的工具，或许是AI时代内容工作流的一个可行方向。