高级提示工程：从CoT到Agent的六大核心技术

提示工程不只是写提示词

提示工程（Prompt Engineering）常被简化为"学会写提示词"，但真正进入生产环境后，它更像一门系统性工程学科。从零样本提示到自优化提示循环，不同成熟度层级对应着截然不同的技术栈和评估方法。

一份来自技术社区的深度指南将提示工程划分为六个成熟度层级：从临场发挥的零样本提示，到结构化模板、少样本+思维链、RAG集成、Agent提示，最终到达自优化循环。每一级的跃迁都意味着更高的系统复杂度和更强的输出可靠性。

判断自己的项目处于哪个层级，直接决定了应该投入多少工程资源——用零样本提示处理复杂推理任务，或用Agent架构处理简单分类问题，都是常见的资源错配。

基础技术：零样本、少样本与思维链

零样本提示：模板化起步

零样本提示的核心不是"随便写一句话"，而是将系统指令和用户指令分离为可复用的模板。例如，摘要、实体抽取、分类三类任务可以分别定义为独立的 PromptTemplate 数据类，通过变量注入实现灵活组合。

这种做法的价值在于：当任务描述发生变化时，只需修改模板本身，而不必逐个调整调用代码。

少样本提示：示例的力量

少样本提示通过提供输入-输出对来引导模型行为。关键细节在于示例的格式一致性——如果示例用 Input: / Output: 标记，测试输入也必须遵循相同格式。

以自然语言转SQL为例，三到五个覆盖不同查询模式的示例，就能让模型在未见过的查询上表现出显著提升。该指南建议将任务描述、示例和测试输入组织为结构化拼接，输出格式要求也可以作为提示的一部分显式声明。

思维链（CoT）：让推理可见

思维链提示通过引导模型逐步推理来提升复杂任务的准确率。基本形式是在提示中要求模型"逐步思考"，并明确列出推理步骤。

更进阶的做法是自一致性（Self-Consistency）：对同一问题运行多次CoT推理，取多数投票结果。这种方法以计算成本换取准确率提升，在数学推理和逻辑推断任务中效果尤其明显。

自一致性（Self-Consistency） 的收益来源于一个统计事实：单次贪心解码容易落入局部最优的推理路径，而多次采样可以覆盖不同的推理分支。由于正确推理路径往往比错误路径更容易被模型独立复现，多数投票会自然向正确答案收敛。实践中温度参数通常设为 0.5 到 0.7 之间以获得足够的路径多样性，采样次数从 5 次起步，对准确率要求高的场景可提升到 20 至 40 次。需要注意的是，这种方法对答案可归一化的任务（数值、选项、短实体）效果最好，对开放式生成任务则难以定义"多数"。

进阶模式：ToT、ReAct与RAG

思维树（Tree of Thoughts）

如果说CoT是一条推理链，ToT就是一棵推理树。它通过在每个步骤生成多个候选思路、评估其质量、保留最优分支的方式，实现更全局的搜索。

实现上，ToT维护一个Thought数据结构，包含内容、评分、父子关系。每一层通过LLM生成分支、评估分支质量、剪枝保留top-K。最终沿最优路径回溯得到解决方案。代价是LLM调用次数成倍增长，适用于需要探索性推理的高价值场景。

ReAct：推理与行动结合

ReAct模式让模型在推理和工具调用之间交替进行。典型流程是：思考→选择工具→执行→观察结果→继续思考，直到得出最终答案。

提示模板需要定义可用工具列表、工具调用格式（Action/Action Input）以及终止条件（Final Answer）。解析层则需要从模型输出中提取结构化信息，区分"继续调用工具"和"给出最终答案"两种状态。

ReAct 的命名来自 Reasoning 与 Acting 的组合，最早由 Yao 等人在 2022 年提出。它的关键洞察是：纯推理（如 CoT）无法获取外部事实，纯行动（如直接调用工具）则缺乏对结果的整合与纠错能力。交替进行两者，可以让模型在观察到工具返回异常时重新规划，而不是沿错误路径一路走到底。ReAct 也是后续多数 Agent 框架的基础范式，LangChain 的 AgentExecutor、AutoGPT 的执行循环都可视作其工程化变体。

RAG提示：带引用的生成

RAG场景下的提示设计有两个核心要求：约束回答范围和要求引用来源。提示中需明确要求模型仅基于提供的上下文回答，上下文不足时拒绝作答。

结构化输出版本更进一步，要求模型返回JSON格式，包含答案文本、引用片段（标注来源文档ID和原文引用）以及置信度评分。这为下游的质量监控和人工审核提供了结构化依据。

Agent系统提示词设计

进入Agent层级后，提示词不再是单一模板，而是一组协同工作的角色定义。

Supervisor Agent负责分解任务、委派子任务给专家Agent、综合结果。其提示词需要定义委派协议（如何指定目标Agent和任务描述）、响应格式（继续委派还是给出最终答案）以及历史结果追踪机制。

Specialist Agent则聚焦特定能力域。研究员Agent强调信息检索和交叉验证，编码Agent强调代码质量和设计决策说明。每个专家Agent的提示词都包含能力说明、可用工具列表、工作原则和输出格式要求。

提示优化与评估框架

自动化提示优化

手动调提示词的效率瓶颈催生了自动化优化方法。一种思路借鉴进化算法：初始化一批提示变体（添加CoT、添加少样本、添加格式约束等），在多代迭代中评估、选择、交叉和变异，逐步逼近最优提示。

DSPy风格的优化则更轻量：通过添加示例（demos）和自动编译（compile），让框架根据评估指标自动选择最佳示例组合。

DSPy 是斯坦福 NLP 组提出的声明式提示编程框架。它的核心思想是把提示词从"手写的字符串"抽象为"可优化的模块"：开发者只需定义输入输出的字段名与签名（Signature），以及一个评估指标，框架的编译器（Teleprompter）会自动搜索最佳的指令措辞和少样本示例组合。这与手工调参的区别，类似于手写正则与训练一个分类器之间的区别——前者依赖经验，后者依赖数据驱动的搜索。

评估指标与A/B测试

生产环境的提示评估需要多维指标：准确率、一致性（多次运行的结果稳定度）、指令遵循度、格式合规率、延迟和成本。LLM-as-Judge是常见的自动化评估手段——用另一个模型对输出质量打分。

A/B测试框架允许同时评估两个提示版本，通过统计显著性判断优劣。有意思的是，准确率差异小于2%时通常难以区分，需要更大的样本量才能得出可靠结论。

LLM-as-Judge 的有效性依赖几个前提：评判模型的能力通常强于或等于被测模型；评判任务被拆解为具体维度而非笼统打分；评判提示中包含参考答案或评分细则。常见的偏差包括位置偏好（倾向于选择排在前的选项）、长度偏好（倾向更长回答）和自我偏好（倾向于自己生成的内容）。缓解手段是随机化选项顺序、要求先给出理由再给分数、以及用多个评判模型取平均。

生产级提示管理

版本控制与注册中心

提示词应当像代码一样被版本管理。一个基于SQLite的PromptRegistry可以实现提示的保存、版本查询、历史回溯等功能。每次修改提示都创建新版本，记录元数据和父版本ID，使得问题排查和回滚成为可能。

灰度发布与特性开关

新版本提示不应一次性全量上线。通过流量百分比控制和条件路由（如仅对特定用户层级生效），可以实现渐进式部署。一旦指标异常，快速回滚到上一版本。

生产检查清单

该指南给出了覆盖四个维度的检查清单：

• 提示质量：角色定义、任务描述、输出格式、约束条件、少样本示例、CoT步骤、边界处理、自验证步骤
• 评估：金标测试集（50+用例）、自动化指标、LLM评审、A/B测试、CI/CD回归检测
• 管理：版本控制、注册中心、特性开关、金丝雀部署、回滚能力（<1分钟）、使用分析
• 安全：输入清洗、注入检测、PII处理、输出验证、速率限制

决策框架：如何选择提示模式

该指南给出的决策树逻辑清晰：简单确定性任务用零样本；需要特定格式或风格用少样本；复杂推理用CoT或ToT；需要外部信息用RAG；多步骤工具调用用ReAct或Agent；高风险的生产场景则需要优化+评估+版本管理三位一体。

选择过重的方案会浪费资源，选择过轻的方案则无法满足质量要求。理解每个模式的适用边界，比盲目追求"最先进"的方法更重要。