FlowGenesis：让神经网络自己决定长多大

深度神经网络通常依赖训练前就设定好的架构，但内部表示却在训练中不断演化。这种“架构固定、表示流动”的矛盾，催生了一个新问题：能否让网络结构根据表示的变化自我调整？FlowGenesis 框架给出了肯定的答案。它通过神经元分裂与剪枝，让网络在训练中自主增减容量，无需预设目标架构或单独进行架构搜索。

核心机制：用表示通量驱动结构演化

FlowGenesis 的关键创新在于提出“表示通量”（Representation Flux）这一局部统计量，用来捕捉小批量数据上神经元平均激活的变化。简单说，它衡量的是神经元输出的波动程度。

高通量神经元意味着其表示在训练中持续变化，可能承载了重要的学习信号，因此被分裂成两个子神经元，且分裂过程设计为近似保持网络原有功能。低通量且低活跃度的神经元则被剪枝，因为它们对当前任务贡献有限。这一机制让网络容量在训练中动态增减，完全由数据驱动的表示变化决定，而非人为设定的规则。

这种设计跳出了传统架构搜索的框架：不需要定义搜索空间，也不需要评估大量候选架构，网络在梯度下降过程中就完成了结构自适应。

表示通量（Representation Flux） 是一种刻画神经元激活稳定性的局部统计量：在若干连续的小批量（mini-batch）上记录某神经元输出的平均激活值，再计算这些激活值随时间的变化幅度（如方差或相邻批次间的差分均值）。数值越高，说明该神经元的响应模式在训练中越不稳定，往往对应尚未收敛、仍在承载梯度信号的特征方向。与基于权重大小的剪枝准则不同，表示通量直接观测前向行为而非参数范数，因此能捕捉到“权重虽小但激活波动剧烈”的神经元。

神经元分裂的功能保持：把一个神经元复制为两份时，若直接把输出相加，网络总响应会翻倍，破坏已学到的映射。常见做法是让两个子神经元各继承父神经元一半的输出权重（如出边权重乘以 0.5），并在初始时刻保持二者参数相同，从而在分裂瞬间网络函数不变；随后梯度下降会使二者因接收不同梯度而逐渐分化，获得各自的专精方向。这一技巧与 Net2WiderNet 等网络变形方法中的净宽度扩展思路一脉相承，区别在于分裂时机由表示通量在线决定，而非事先指定。

实验验证：不同初始规模收敛到相近范围

研究者在图像和文本分类任务上进行了实验。结果显示，即使网络初始规模不同，经过 FlowGenesis 调整后，同一数据集上的最终神经元数量范围趋于接近，同时预测性能保持可比。

这意味着网络有一种“自我调节”到合适容量的倾向，而不必在训练前精确设定宽度。对于实践者而言，这降低了架构选择的试错成本——你可以从一个粗略的初始规模开始，让网络自己找到合适的复杂度。

持续学习中的结构自适应

FlowGenesis 还被扩展到持续学习场景。在任务增量学习设置下，表示引导的结构适应能够减少后续任务分配的神经元和参数数量，同时保持与固定宽度渐进神经网络（Progressive Neural Networks）相当的准确率。

持续学习的核心挑战是灾难性遗忘，而渐进网络通过为每个任务分配新列来避免遗忘，代价是参数随任务数线性增长。FlowGenesis 让结构根据表示反馈动态调整，在保持性能的同时抑制了参数膨胀，为持续学习提供了一种更高效的容量分配思路。

渐进神经网络（Progressive Neural Networks） 是为缓解灾难性遗忘提出的多任务架构：每遇到一个新任务，就新增一列网络层，并通过横向连接（adapter）把旧列的特征接入新列，旧列参数被冻结从而彻底避免遗忘。其代价是参数量随任务数线性增长，任务越多模型越臃肿。FlowGenesis 在其上做结构自适应，实质是用表示通量判断哪些神经元真正需要为新任务扩容，从而在保持旧任务性能的同时压缩新增容量，属于“按需生长”而非“逢任务必加列”。

启示与局限

这项工作的价值在于提出了一种新的范式：架构不是训练前指定的，而是表示学习与结构变化之间反馈循环的产物。它暗示了网络容量可以像生物神经系统那样，通过活动依赖的机制自我组织。

当然，目前实验规模有限，仅涉及图像和文本分类，且分裂操作近似保持功能的设计可能引入额外计算开销。但方向值得关注：当模型越来越大，让结构自己“长”出来，或许比人工设计更可持续。

（完）