轻量级LLM能否胜任意图到SLO的翻译？五维评估揭晓答案

意图驱动网络（IBN）通过自然语言意图自动生成网络配置，其第一步——将意图翻译为可执行的SLO——正越来越多地依赖大语言模型。然而，大模型带来的成本和能耗问题促使研究者探索轻量级开源模型的可能性。一篇最新论文对来自5个家族的10个参数量小于10B的LLM进行了五维评估，涵盖翻译性能、意图验证、幻觉、能耗影响以及对多样化表述的鲁棒性。

评估框架与实验设置

研究团队在716个放置意图上，采用四种提示设置（包括零样本和少样本推理）测试了轻量级模型的表现。评估维度包括：严格F1分数、无效意图拒绝率、幻觉率、GPU能耗以及改写鲁棒性。所有模型参数均小于10B，旨在验证其能否在资源受限环境下替代大型模型。

严格F1分数：F1分数是精确率（Precision）与召回率（Recall）的调和平均数，常用于衡量分类或序列标注任务的综合性能。在意图到SLO翻译任务中，若将模型输出的SLO视为预测的“实体”或“片段”，严格F1要求预测结果与真实标注在边界和内容上完全一致才计为正确，任何部分匹配或格式偏差均视为错误。因此，0.943的严格F1分数意味着模型生成的SLO在绝大多数情况下与人工标注的期望结果完全吻合，体现了较高的结构化输出质量。

少样本推理（Few-shot推理）：少样本推理指在提示（prompt）中提供少量输入-输出示例，引导大语言模型按照示例模式完成新任务，而不更新模型参数。与零样本推理（仅给出任务描述，不提供示例）相比，少样本推理能显著提升模型对输出格式和任务约束的理解，降低幻觉率。在本研究中，少样本设置通过展示若干意图到SLO的转换样例，帮助轻量级模型更准确地遵循翻译规则。

翻译性能与意图验证

最佳配置在意图翻译任务上取得了0.943的严格F1分数，表明轻量级模型能够高精度地将自然语言意图转化为SLO。在无效意图拒绝方面，最优模型能正确拒绝195个无效意图中的191个，验证能力接近实用水平。

幻觉与提示策略的影响

少样本推理显著降低了幻觉率：最强模型在约1%的响应中产生不支持的QoS需求，而零样本设置下表现明显较差。这说明提示工程对轻量级模型的可靠性至关重要，合理的示例引导能大幅提升输出准确性。

幻觉（Hallucination）：在大语言模型语境下，幻觉指模型生成看似合理但缺乏依据、与输入或事实不符的内容。在意图到SLO翻译任务中，幻觉具体表现为模型输出未在原始意图中提及的QoS（服务质量）需求，例如凭空添加带宽、时延或可靠性指标。这类幻觉会导致生成的SLO偏离用户真实意图，进而引发错误的网络配置。因此，研究将“不支持的QoS需求”作为幻觉的量化指标，并发现少样本推理可将幻觉率降至约1%。

能耗分析与成本效益

在不使用推理的情况下，翻译一个意图消耗0.044-0.148 Wh的GPU能量。对于较弱模型，增加推理步骤带来的额外能耗能够换来性能提升，具有成本效益。这一发现为在边缘设备或资源受限环境中部署轻量级模型提供了依据。

改写鲁棒性挑战

现实中的改写会降低无效意图的拒绝率：在16种配置中，有15种在最佳模型上表现出拒绝率下降。这表明意图验证的鲁棒性仍是可靠IBN的关键开放挑战，模型在面对多样化表述时容易误判。

结论与展望

轻量级LLM在意图到SLO翻译中展现出可观潜力，尤其在少样本推理辅助下，能够实现高精度翻译和低幻觉率。然而，改写鲁棒性不足提示我们需要进一步研究意图验证机制。该研究为在成本敏感场景中部署轻量级模型提供了实证基础，并开源了代码和数据以促进后续工作。