FlowGenesis
一种基于表示通量驱动的神经网络结构自适应框架,通过神经元分裂与剪枝让网络在训练中动态调整容量,无需预设架构或架构搜索
时间轴 (近 90 天)
FlowGenesis 框架通过神经元分裂与剪枝,让网络在训练中自主增减容量,无需预设目标架构或单独进行架构搜索。
FlowGenesis 提出“表示通量”(Representation Flux)作为局部统计量,用于捕捉小批量数据上神经元平均激活的变化。
在 FlowGenesis 中,高通量神经元被分裂成两个子神经元,且分裂过程设计为近似保持网络原有功能。
在 FlowGenesis 中,低通量且低活跃度的神经元被剪枝。
FlowGenesis 的设计不需要定义搜索空间,也不需要评估大量候选架构,网络在梯度下降过程中完成结构自适应。
在图像和文本分类任务上的实验显示,即使网络初始规模不同,经过 FlowGenesis 调整后,同一数据集上的最终神经元数量范围趋于接近,同时预测性能保持可比。
FlowGenesis 被扩展到持续学习场景,在任务增量学习设置下,表示引导的结构适应能够减少后续任务分配的神经元和参数数量,同时保持与固定宽度渐进神经网络相当的准确率。
FlowGenesis 目前实验规模有限,仅涉及图像和文本分类,且分裂操作近似保持功能的设计可能引入额外计算开销。
全部知识事实 (8)
FlowGenesis 框架通过神经元分裂与剪枝,让网络在训练中自主增减容量,无需预设目标架构或单独进行架构搜索。
50%待验证FlowGenesis 提出“表示通量”(Representation Flux)作为局部统计量,用于捕捉小批量数据上神经元平均激活的变化。
50%待验证在 FlowGenesis 中,高通量神经元被分裂成两个子神经元,且分裂过程设计为近似保持网络原有功能。
50%待验证在 FlowGenesis 中,低通量且低活跃度的神经元被剪枝。
50%待验证FlowGenesis 的设计不需要定义搜索空间,也不需要评估大量候选架构,网络在梯度下降过程中完成结构自适应。
50%待验证在图像和文本分类任务上的实验显示,即使网络初始规模不同,经过 FlowGenesis 调整后,同一数据集上的最终神经元数量范围趋于接近,同时预测性能保持可比。
50%待验证FlowGenesis 被扩展到持续学习场景,在任务增量学习设置下,表示引导的结构适应能够减少后续任务分配的神经元和参数数量,同时保持与固定宽度渐进神经网络相当的准确率。
50%待验证FlowGenesis 目前实验规模有限,仅涉及图像和文本分类,且分裂操作近似保持功能的设计可能引入额外计算开销。
50%