Mobile AI Factory：用AI智能体为手机定制专属小模型

当小模型遇上手机：定制化才是出路

把语言模型装进手机，隐私和离线可用是天然优势。但小模型（SLM）有个现实问题：只有针对具体任务微调、并适配目标机型的硬件规格，它才能跑出好效果。而完成这套调优，目前仍依赖专家反复试错。

一篇新研究提出了 Mobile AI Factory——一个智能体系统，输入任务说明和目标手机，它就能自动产出一个微调并量化后的专用小模型。 Mobile AI Factory 论文主题图

编排器+固定规则的协作机制

系统的核心是一个编排器 LLM：它根据当前进展，决定下一步是调超参数、挖掘真实数据，还是生成合成样本。而一旦某次改动导致准确率下降，固定规则会负责回滚。这种"LLM 决策 + 规则兜底"的设计，把探索的灵活性和稳定性拆开处理。

编排器 LLM 是 Mobile AI Factory 的决策中枢，其角色不是直接训练模型，而是根据搜索历史与当前指标，在“调超参数”“挖掘真实数据”“生成合成样本”等动作之间做选择。它与固定回滚规则形成分工：LLM 负责提出可能改善准确率的改动，规则层负责在改动导致指标下降时自动撤销。这种设计借鉴了智能体系统中“提议—验证”的常见范式，把开放式探索与确定性保护解耦，避免 LLM 的随机性直接破坏已有最优配置。

搜索策略：从小到大，动态调整目标

工厂会在不同基座模型和量化方案之间搜索，模型规模由小到大逐步尝试。搜索过程中，准确率目标本身也会自适应调整——不必一开始就锁定一个可能不现实的指标。

一个容易被忽略的细节是：系统会调用目标手机上的真实测量，覆盖不同的推理引擎和后端。换句话说，选型依据不是纸面参数，而是实际跑出来的表现。

实测效果有说服力

研究在 10 个任务和 4 款 Android 手机上做了评估。在未见过的测试集上，其端侧模型在 5 个任务上超过了两个 five-shot 前沿模型，最高领先 0.34，另有 3 个任务持平。

搜索效率同样值得关注：在一个实体抽取任务上，自动搜索的结果与穷举训练全部 27 个模型变体的差距仅 0.03，但 GPU 时间节省了 19 倍。

量化指将模型权重和激活值从高精度浮点（如 FP16）转换为低精度整数（如 INT8、INT4）的过程，目的是压缩模型体积、降低内存占用并利用手机 NPU 的整数加速能力。不同量化方案（如训练后量化与量化感知训练）对准确率的影响差异显著，且同一方案在不同推理引擎上的实际表现也可能不同。因此，Mobile AI Factory 将量化方案纳入搜索空间，与基座模型规模联合决策，而不是在微调完成后才单独选择量化配置。

手机测量为什么不可替代

研究给出了一个直白的结论：最佳配置会随手机变化。如果不做真机测量，即便把完整硬件和模型规格交给 Claude Opus 5.5，它在简单和中等案例中仍有 25% 错过应用要求，困难案例中这一比例高达 60%。

这解释了为什么单纯依赖模型推理来选型不够可靠——硬件与后端的实际表现差异，必须靠测量来捕获。代码已在 GitHub 开源。

注：原文提到的对比模型为 Claude Opus 5.5，本文按素材原样引用。

five-shot 前沿模型 指在评测时仅提供 5 个示例进行上下文学习的大规模前沿模型。这类对比的意义在于衡量端侧专用小模型在极少监督信号下能否逼近通用大模型的任务表现。由于大模型无法离线部署在手机上，且每次推理成本高，端侧小模型若能在部分任务上达到或超过 five-shot 大模型，就说明针对任务和硬件的定制化调优可以弥补参数规模上的差距。