实测JEV AI工单分类：30张工单27张分对，还能识别钓鱼邮件

一个真实业务场景的AI分类实验

很多人谈论AI分类工具时停留在概念阶段，这位YouTube创作者选择了更务实的做法——直接把它扔进真实的业务流程里测试。他基于N8N搭建了一套自动化工作流，向JEV AI投喂了30张模拟的客户支持工单，看它究竟能不能撑起实际业务的分流需求。

这批测试工单的构成很有代表性：既有常规的账单投诉，也混入了垃圾信息，甚至还埋了一封伪装成紧急事务的钓鱼邮件。换句话说，这不是一个被精心清洗过的理想数据集，而是模拟了真实客服后台会遇到的各种噪声和陷阱。

置信度阈值：让AI知道什么时候该闭嘴

这个实验里最值得关注的设计，是作者设置的一条规则：任何置信度低于60%的判断，都直接转交人工处理，而不是让AI硬着头皮猜。

这条规则看似简单，却是生产环境中AI落地的关键思路。AI分类的价值不在于每一张工单都由它决断，而在于它能可靠地处理高置信度的大多数，同时把拿不准的边缘案例让渡给人类。这种"知道自己不知道"的机制，避免了AI在模糊地带强行输出错误结果带来的业务风险。对于客服、风控这类容错率低的场景，这种人机协同的分流逻辑比追求100%自动化更可取。

置信度（confidence score）是分类模型对自身预测结果的把握程度，通常以0到1之间的概率值表示。模型输出某个类别标签的同时，也会给出对应的置信度分数——比如"账单投诉：0.87"意味着模型有87%的把握认为这张工单属于账单类别。这个分数来自模型内部的概率分布，并非简单的"对或错"二元判断，而是一个连续的不确定性度量。

60%这个阈值的选取并非随意，它反映了一种业务权衡：阈值越高，转人工的比例越大，自动化率下降但精度提升；阈值越低，AI处理的工单更多，但错误分流的风险也随之上升。在容错率低的场景中，宁可多转人工、也不轻易让AI拍板，是符合工程实践直觉的取舍。这种"拒绝回答"机制在学术上被称为"selective prediction"或"abstention"，是让AI系统在生产环境中更可信赖的重要设计模式。

结果：30张工单分对27张

最终的成绩是30张工单中有27张被送到了正确的团队。更关键的是几个细节表现：它成功识别出了垃圾信息，也揪出了那封钓鱼邮件，甚至还能处理其他语言的工单。

识别钓鱼邮件和跨语言处理这两点，比90%的准确率数字本身更有说服力。钓鱼邮件通常会用"紧急""立即处理"等话术制造误导，一个只会做表面关键词匹配的系统很容易上当；而多语言支持则意味着这套方案对国际化业务同样适用。当然，30张的样本量偏小，这个准确率更适合作为可行性验证而非严谨的性能基准。

不止客服：一套流程多种用途

作者特别指出，同样的配置并不局限于工单分类。线索评分（lead scoring）、订单归类、内容审核等场景都可以复用这套思路。

这背后的共性在于：凡是需要快速决策、而非展开对话的工作流，都适合用这类分类式AI来处理。 这是一个很实用的判断标准。生成式对话是大模型最吸引眼球的能力，但在大量后台业务里，真正高频的需求其实是"快速、准确地把东西归到正确的类别"。把分类任务从冗长的对话式交互中剥离出来，用确定性更强的分类流程来承接，往往能带来更稳定的效果和更低的成本。

线索评分（lead scoring）是指对潜在客户按照成交可能性进行打分或分级的过程，传统上依赖销售人员的经验判断或基于规则的评分模型。将其纳入AI分类流程后，系统可以根据线索的来源渠道、行为特征、问询内容等维度自动将其归入"高意向""低意向""需跟进"等类别，帮助销售团队优先处理最有价值的线索。这类场景与工单分类的结构高度相似：输入是一段非结构化或半结构化的文本，输出是一个离散的类别标签，决策需要快速且批量完成，不需要与用户展开多轮对话。正是这种结构上的同构性，使得同一套分类工作流可以在不同业务场景间低成本迁移复用。

提示词写法决定成败

实验的最后，作者反复强调了一个容易被忽视的点：你怎么写指令，真的非常关键。

这句提醒切中了AI应用落地的要害。同样的模型和工作流，提示词写得清不清晰、分类规则定义得严不严谨，直接决定了那个27/30的成绩能否复现。阈值设置、类别边界的描述、对边缘案例的处理说明，这些工程细节才是把一个"看起来能用"的demo变成"真的能用"的生产系统的分水岭。作者本次测试是通过Hostinger的AI Router运行JEV完成的。

提示词工程（prompt engineering）在分类任务中有别于对话式场景的写法。分类提示词的核心不是让模型"聊得好"，而是让它输出稳定、可解析的结构化结果。实践中常见的做法包括：明确列出所有可能的类别标签及其边界定义（尤其是容易混淆的相邻类别）、用少量示例（few-shot）展示边缘案例的正确处理方式、要求模型同时输出分类结果和置信度、以及限制输出格式为JSON或固定字符串以便下游程序解析。

N8N这类无代码/低代码自动化平台在接收AI输出时，通常依赖格式的可预测性来触发后续节点，提示词中对输出格式的严格规定因此具有双重意义——既保证了分类逻辑的准确性，也保证了整个工作流的稳定运行。

小结

这个实验的价值不在于证明某个工具有多强，而在于它展示了一套可复制的AI分类落地方法论：用真实脏数据测试、设置置信度阈值做人机分流、聚焦于快速决策类场景、并在提示词工程上下功夫。对于想把AI引入自己业务流程的团队来说，这几条经验比任何营销话术都更有参考意义。