先测量再训练：个人多语言收件箱路由系统的基准测试与洞察

引言：个人邮件代理的测量盲区

个人邮件代理的核心任务是对每封邮件做出决策：它是什么类型、是否紧急、是否需要草拟回复、是否创建任务，还是直接忽略。然而，这类系统的错误率鲜少被系统性地测量——因为存储的标签往往由系统自身生成，缺乏独立的地面真值。

近期一项研究提出了 Foyer，一个自托管的个人收件箱代理，并配套一套测量协议（分层采样、冻结快照、按线程分组划分、预注册假设、在代理审核循环中引入人工标签），旨在在任何训练之前获得可靠的地面真值。该研究在 739 封真实的意大利语/英语邮件上（231 封无偏采样，500 封对抗性采样）比较了九种系统，包括生产环境的关键词规则、TF-IDF+逻辑回归基线、本地类型化决策模型（Tev1、Nimble）、托管决策模型（Nimble v4-max）以及托管生成式 LLM（Qwen2.5-7B、Gemma 4 26B/31B）。

研究来源截图

核心发现：规则失效与基线逆袭

生产规则的信息量为零

最引人注目的结果是：生产环境的关键词规则在“消息类型”字段上的准确率仅为 28%，而多数类（majority class）的基准是 58%。这意味着该字段——在界面上展示最为显眼——实际上没有携带任何有效信息。这一发现直接挑战了“规则驱动足够用”的常见假设。

逻辑回归基线全面领先

在约 200 个标签的训练下，TF-IDF+逻辑回归在每一个字段上都取得了最高准确率：类型 0.79、紧急度 0.74、是否需要回复 0.83、是否为噪音 0.90。不过，它从不预测两个最稀有的类别，且在类型字段上与 Gemma 4 在统计上持平。少样本提示（few-shot prompting）未能弥合这一差距。

这一结果传递出一个反直觉的信号：在数据量有限时，经典机器学习方法依然是强有力的基线，生成式 LLM 的少样本能力并不自动转化为路由准确性。

TF-IDF+逻辑回归 是文本分类中一种经典且高效的组合。TF-IDF（词频-逆文档频率）将每封邮件表示为稀疏向量：词频衡量词语在单封邮件中的重要性，逆文档频率则降低在整个语料中频繁出现（如“的”“the”）的词的权重，从而突出区分性词汇。逻辑回归是一种线性分类器，通过为每个词特征学习权重，输出各类别的概率。它的优势在于：在标签量有限（如约200个）时，参数少、不易过拟合；训练和推理速度快；权重可解释。该研究显示，这一简单基线在多个字段上优于少样本提示的生成式LLM，说明在数据稀缺场景下，经典特征工程加线性模型仍具有竞争力。

关系推断：属于联系人图谱，而非提示词

研究还揭示了一个重要区分：发件人的关系（客户、供应商、服务）可以从同一联系人的其他邮件中以 98.6% 的准确率恢复（前提是该联系人已出现过），但任何模型都无法从单封邮件中推断出这一信息。

这意味着关系信息应当被存储在联系人图谱（contact graph）中，而不是每次塞进提示词里。对于个人邮件代理的设计而言，这是一个架构层面的指导原则：持久化、结构化的上下文比临时的提示工程更可靠。

联系人图谱（contact graph） 是一种以联系人为节点、以关系（如客户、供应商、服务）为边的结构化知识表示。在个人邮件代理中，它独立于单封邮件而持久存在，可跨邮件累积信息。例如，当同一发件人的多封邮件被观察到后，系统可推断其关系类型并存入图谱。与将关系信息塞入每次提示词不同，联系人图谱提供稳定、可查询的上下文，避免重复推理和提示词膨胀。研究结果表明，关系信息可从同一联系人的其他邮件中以98.6%的准确率恢复，但无法从单封邮件推断，这从实证上支持了将关系外置于图谱的架构选择。

准确率不等于产品指标：组合动作的陷阱

最后一个发现尤为关键：准确率并非产品层面的度量指标。当把分类结果组合成动作时，最准确的系统反而最频繁地忽略了需要行动的邮件——其忽略率为 18%，而最佳 LLM 仅为 4%。

然而，当根据成本选择一个阈值作用于其噪音概率时，该忽略率减半，并使其成为成本最低的系统。这表明，在真实产品中，决策阈值的选择需要与业务成本对齐，而非单纯追求分类准确率。

决策阈值（decision threshold） 是将分类器输出的概率转化为具体动作的临界值。例如，代理可能设定：当“噪音”概率超过某阈值时，直接忽略邮件；否则进入待处理队列。阈值的选择直接影响两类错误（漏掉需行动邮件 vs. 误处理噪音邮件）的权衡。研究中，最准确的系统默认阈值导致18%的需行动邮件被忽略；当根据业务成本重新选择阈值后，忽略率减半，整体成本最低。这说明产品指标（如漏检成本、处理成本）应指导阈值调优，而非单纯追求分类准确率。阈值与成本对齐是分类模型落地为产品动作的关键环节。

方法论启示：先测量，再训练

Foyer 的测量协议本身值得关注。分层采样确保了稀有类别的代表性；对抗性采样（500 封）暴露了系统在困难样本上的表现；冻结快照和按线程分组划分避免了数据泄漏；预注册假设则降低了事后归因的偏差。

这些实践共同指向一个原则：在训练任何模型之前，先建立可靠的测量基础设施。对于个人邮件代理这类高度个性化、标签稀缺的场景，这一原则尤为重要。

结论

这项研究通过严谨的对比实验表明：在个人多语言收件箱的路由任务上，经典基线（逻辑回归）在有限标签下依然强劲，生成式 LLM 的少样本优势并不显著；关系信息应外置于联系人图谱；而准确率必须让位于与成本对齐的产品指标。对于构建个人 AI 代理的开发者而言，最大的启示或许是：先测量，再训练——否则你优化的可能是一个根本不携带信息的字段。