[控场AI]
概念FlowGenesis框架

FlowGenesis

一种基于表示通量驱动的神经网络结构自适应框架,通过神经元分裂与剪枝让网络在训练中动态调整容量,无需预设架构或架构搜索

时间轴 (近 90 天)

10月27日

FlowGenesis 框架通过神经元分裂与剪枝,让网络在训练中自主增减容量,无需预设目标架构或单独进行架构搜索。

待验证50%
10月27日

FlowGenesis 提出“表示通量”(Representation Flux)作为局部统计量,用于捕捉小批量数据上神经元平均激活的变化。

待验证50%
10月27日

在 FlowGenesis 中,高通量神经元被分裂成两个子神经元,且分裂过程设计为近似保持网络原有功能。

待验证50%
10月27日

在 FlowGenesis 中,低通量且低活跃度的神经元被剪枝。

待验证50%
10月27日

FlowGenesis 的设计不需要定义搜索空间,也不需要评估大量候选架构,网络在梯度下降过程中完成结构自适应。

待验证50%
10月27日

在图像和文本分类任务上的实验显示,即使网络初始规模不同,经过 FlowGenesis 调整后,同一数据集上的最终神经元数量范围趋于接近,同时预测性能保持可比。

待验证50%
10月27日

FlowGenesis 被扩展到持续学习场景,在任务增量学习设置下,表示引导的结构适应能够减少后续任务分配的神经元和参数数量,同时保持与固定宽度渐进神经网络相当的准确率。

待验证50%
10月27日

FlowGenesis 目前实验规模有限,仅涉及图像和文本分类,且分裂操作近似保持功能的设计可能引入额外计算开销。

待验证50%

全部知识事实 (8)

来源文章