TinyFish：Web原生模型从后训练到生产部署全流程

TinyFish是什么？为什么Web原生模型需要特殊的基础设施

TinyFish 是一家为企业构建 Web 代理基础设施的公司。它的核心产品包括 Search、Fetch、Browser 等能力模块，目标是让企业级 AI Agent 能够在真实、动态的网页环境中可靠地完成搜索、抓取和交互任务。

这与传统的大语言模型应用有本质区别。大多数模型部署在静态数据集上完成推理即可，但 Web 原生模型必须实时面对不断变化的网页结构、反爬机制、动态渲染内容和不可预测的网络延迟。这意味着从后训练（post-training）到生产上线的链路，需要一套完全不同的工程体系。TinyFish 选择在 Databricks AI Runtime 上运行其模型，正是为了解决这一系列挑战。

从后训练到生产：TinyFish 的技术链路

后训练阶段的特殊需求

Web 原生模型的后训练不同于通用 LLM 的微调。模型需要学习如何解析 HTML 结构、识别页面中的关键信息、在多个候选操作中做出决策，以及处理各种异常情况（如页面加载失败、验证码拦截、内容格式突变）。

这些能力的训练依赖大量来自真实 Web 环境的交互数据。后训练阶段需要频繁地迭代模型权重，同时保持与生产环境一致的推理行为。如果训练和推理之间存在环境差异，模型上线后就会出现性能断崖。

后训练（post-training） 是与预训练（pre-training）相对的一个阶段。预训练让模型从海量无标注文本中习得通用语言能力，而后训练则是在此基础上，通过监督微调（SFT）、人类反馈强化学习（RLHF）或直接偏好优化（DPO）等手段，让模型对齐到具体任务、领域或行为规范。对于 Web 原生模型而言，后训练的目标不是让它"更会聊天"，而是让它学会在真实网页中完成操作序列——解析 DOM 结构、定位可交互元素、判断下一步点击或输入的位置、以及在页面状态异常时回退重试。这类能力很难通过静态语料习得，必须依赖与真实浏览环境的交互轨迹作为训练信号。

值得一提的是，后训练阶段还面临"灾难性遗忘"的风险：当模型在 Web 交互数据上反复微调时，可能损失预训练阶段获得的通用推理与语言理解能力。因此在实践中，Web 原生模型的后训练通常采用混合数据策略，将通用指令数据与 Web 交互数据进行配比训练。

在 Databricks AI Runtime 上运行生产负载

TinyFish 将模型部署在 Databricks AI Runtime 上，这一选择解决了几个关键问题：

弹性算力调度：Web Agent 的请求量波动极大，Databricks 的 Runtime 能够按需扩展推理资源，避免为峰值流量长期预留 GPU。
训练与推理的一致性：在同一平台完成后训练和生产部署，减少了环境切换带来的不一致风险。
可观测性：Databricks 提供了对模型推理延迟、吞吐量和错误率的监控能力，这对于需要实时响应网页变化的 Agent 至关重要。

训练-推理一致性（training-inference parity） 是机器学习工程中一个常被低估但影响巨大的问题。它指的是模型在训练阶段所见的输入分布、预处理逻辑、框架版本和运行时环境，与生产推理阶段完全对齐。一旦出现偏差——例如后训练用的是 PyTorch 2.1 + CUDA 12，而生产推理环境却是 PyTorch 1.13 + CUDA 11——就可能出现数值精度差异、算子行为不一致、甚至 tokenizer 结果不同等问题，最终导致模型在实际请求中的表现与离线评估结果严重脱节。

对于 Web Agent 这类对延迟和鲁棒性高度敏感的应用，训练-推理不一致的代价尤其高：一个在离线测试中能正确解析页面的模型，上线后可能因为渲染差异而误点按钮或丢失关键信息。将后训练与推理统一放在同一平台（如 Databricks AI Runtime）上运行，本质上是在工程层面消除这类隐性偏差，让模型行为可预测、可复现。

Web Agent 基础设施的行业意义

TinyFish 的案例反映了一个更大的趋势：AI Agent 正在从"能回答问题"走向"能完成任务"。而完成任务的前提是，Agent 能够像人类一样浏览和操作网页。

这个方向的技术难点不在于模型本身有多大，而在于整个工程链路能否支撑模型在真实环境中的稳定表现。从数据采集、后训练、部署到监控，每个环节都需要针对 Web 场景做专门优化。TinyFish 选择 Databricks AI Runtime 作为底座，说明企业级 Agent 基础设施正在从"自己搭"走向"用成熟平台"。

对于正在构建类似能力的企业来说，TinyFish 的路径提供了一个参考：Web 原生模型的生产化，关键在于训练和推理环境的一致性，以及弹性算力对不确定负载的支撑能力。

Web Agent 是 AI Agent 的一个细分方向，指能够自主浏览网页、理解页面内容并执行操作（如点击、填表、滚动、提取信息）的智能体。它与传统爬虫的关键区别在于"决策"：爬虫按预设规则抓取，而 Web Agent 需要根据页面实时状态动态选择动作。这让它天然面对三类难题——动态渲染（大量页面依赖 JavaScript 生成内容，静态 HTML 中并不包含目标数据）、反爬与验证机制（CAPTCHA、指纹识别、行为检测），以及长程任务规划（完成一次订购可能需要几十步操作，每步都可能出错）。

从工程视角看，Web Agent 的瓶颈往往不在模型参数量，而在整个链路的稳定性：数据采集是否覆盖真实分布、后训练是否与推理环境一致、推理资源能否应对流量尖峰、以及线上表现能否被持续观测。这也是"Web Agent 基础设施"作为一个独立赛道出现的根本原因。

常见问题

TinyFish 的 Web 原生模型和普通 LLM 有什么区别？

普通 LLM 主要在静态文本上训练和推理，而 Web 原生模型需要实时处理动态网页内容，包括 HTML 解析、页面交互和异常处理。这要求模型在训练阶段就接触到真实 Web 环境的交互数据。

为什么选择 Databricks AI Runtime 而不是自建推理集群？

Databricks AI Runtime 提供了弹性的 GPU 调度和统一的训练-推理环境。对于请求量波动大的 Web Agent 场景，按需扩展比长期预留算力更经济，同时降低了训练和推理之间的环境差异风险。