SLIC：强化微调小模型攻克模拟电路多轮优化

为什么模拟电路设计需要「小而专」的语言模型

模拟集成电路设计长期被视为工程领域的“手艺活”：工程师需要在多个耦合的性能指标之间反复权衡，借助仿真器一轮轮迭代调整。这种多轮、仿真器驱动的任务特性，理论上非常适合语言模型介入。然而现实障碍在于，模拟设计高度依赖厂商提供的专有工艺设计套件（PDK），而托管式大模型工作流意味着需要把敏感数据上传到外部服务，这让多数实际设计场景难以接受。

据研究团队公布的 SLIC（Small LM Iterating on Circuits）框架，一个更务实的路线是：不追求参数规模，而是训练一个可在本地部署的 4B 级小模型，通过强化微调掌握闭环优化能力。这一思路直接回应了“数据不出本地”的部署诉求，也让模型规模与工程可用性之间的张力有了新的解法。

SLIC 项目来源页面截图

PDK（Process Design Kit，工艺设计套件） 是晶圆代工厂提供给设计公司的文件集合，通常包含器件模型（SPICE 模型）、版图设计规则、寄生参数提取规则、仿真用的技术文件等。它是连接电路设计与实际制造工艺的桥梁，直接决定仿真结果是否可信。由于 PDK 包含代工厂的工艺机密和大量专有参数，通常受严格的保密协议约束，不能随意上传至第三方服务。这正是模拟设计中“数据不出本地”成为刚性需求的根本原因——模型若想参与真实设计流程，就必须能在本地安全地读取和调用 PDK 数据。

SLIC 的三个技术支点

SLIC 的方法设计围绕“如何在稀疏、强约束的搜索空间里给出有效学习信号”展开，主要由三部分组成。

结构化表示 + 离散相对更新动作

框架将电路表示为结构化形式，并把优化动作定义为离散的相对更新，而不是让模型直接生成任意参数值。这一约束显著缩小了动作空间，使多轮迭代中的每一步都可解释、可复现，也降低了模型在连续参数空间中“跑偏”的风险。

强化微调（Reinforcement Fine-Tuning, RFT） 与常规监督微调的差别在于，它不依赖标注好的“标准答案”，而是让模型在环境中采样动作、获得奖励信号，再据此更新策略。在 SLIC 中，环境就是电路仿真器，动作是电路参数的调整，奖励来自多目标性能评估。这种方式特别适合“没有唯一正确答案、只有优劣之分”的优化任务，也是小模型能习得闭环迭代能力的关键训练范式。

领域与成功门控的多目标奖励

模拟电路优化的难点在于多个性能指标相互牵制，单一奖励容易诱导模型牺牲某项指标换取另一项。SLIC 采用领域与成功门控的多目标奖励机制，对不满足基本领域约束的尝试进行过滤，再对多目标达成情况进行奖励分配。这让策略学习聚焦在“既可行又优秀”的区域内。

奖励引导的 rollout 构造（RGRS）

Reward-Guided Rollout Steering（RGRS）是该框架中较有特色的一环：它把每一步的仿真器反馈转化为信号，同时用于策略学习和在线 rollout 构造。在稀疏奖励、强约束的场景下，仅靠最终成功信号学习效率极低，RGRS 相当于用中间反馈为探索过程“导航”，提升了样本效率。

稀疏奖励（Sparse Reward） 指的是环境中只有在任务最终成功时才给出有效反馈，中间步骤几乎没有区分度。在电路优化中，一次参数调整后若四项指标仍未全部达标，往往得不到明确的“方向感”，模型很难判断这一步是好是坏。稀疏奖励会导致探索效率低下、训练不稳定。RGRS 的核心贡献正是把仿真器的中间反馈转化为密集的引导信号，缓解稀疏奖励带来的学习困难。

基准与结果：小模型对超大模型的反超

研究团队同时发布了一个开放的目标条件基准，包含 41 种放大器拓扑，并提供标准化协议用于分布内验证、留出拓扑评估以及跨工艺节点迁移测试。这套基准的意义在于，把“电路优化能力”从零散案例变成可横向比较的评测对象。

在仅使用开源 65 nm CMOS 预测技术模型（PTM）训练的前提下，SLIC-Random 在八轮对话内实现了 87.1% 的四指标分布内 Pass@1。据原文数据，这一成绩比 763B 参数的 DeepSeek^广告-V4.1-Flash Think 高出 48.5 个百分点。这一对比说明，在高度结构化的工程任务中，领域对齐的训练方式可能比单纯堆参数更有效。

在分布外场景中，SLIC-Softmax 在留出拓扑上达到 72.6% Pass@1；训练后的策略还能在五个未见过的工艺节点上直接迁移，无需额外微调。更关键的是，这种迁移能力延伸到了商用 TSMC 65 nm CMOS PDK：SLIC-Random 在留出拓扑上取得 49.9% Pass@1，且全程本地推理，专有数据无需传输至外部 LLM 服务。

Pass@1 是代码生成与程序合成领域常用的评测指标，含义是“模型只生成一次答案就通过测试的概率”。本文借用这一指标衡量电路优化：四指标 Pass@1 指模型给出的电路方案在增益、带宽、功耗、相位裕度等四项指标上同时达标的比例。相比 Pass@k（允许采样 k 次取最优），Pass@1 更严格地反映单次输出的可靠性，也更贴近工程部署中对确定性的要求。

测试时扩展：多轮交互带来的额外增益

SLIC 的另一个值得关注的特性是性能随测试时仿真器交互次数增长。原文显示，在 32 轮预算下，留出拓扑 Pass@1 可提升至 83.2%。这意味着部署方可以根据算力预算灵活调节优化深度，而不是被固定推理成本锁死。对于电路设计这类“多花几轮仿真就能换来更好结果”的任务，这种可伸缩性具有直接的工程价值。

对行业的一点启示

SLIC 的价值不只在电路设计本身。它展示了一种可复用的范式：面对数据敏感、约束密集、需要多轮迭代的专业工程领域，本地化小模型配合领域定制的强化微调，可能比通用大模型的托管调用更贴近落地条件。当然，49.9% 的商用 PDK 留出拓扑通过率也提示，从开源模型到真实产线仍有距离，跨节点迁移的稳定性、以及更复杂电路规模下的表现，都是后续需要观察的方向。

参考来源：SLIC: Reinforcement Fine-Tuning Small LMs for Multi-Turn Analog Circuit Optimization（RSS 源）