概念Forward-Forward Algorithm / FF算法
前向-前向算法
由Geoffrey Hinton于2022年提出的神经网络训练算法,用两次前向传播替代前向加反向传播,每层依赖局部信号更新权重,无需全局梯度回传
时间轴 (近 90 天)
10月5日
前向-前向算法用两次前向传播替代一次前向加一次反向传播,第一次在正样本上运行使每层goodness增大,第二次在负样本上运行使goodness减小
待验证50%
10月5日
前向-前向算法和目标传播被认为在生物可信度上优于标准反向传播,因为大脑中不存在精确的反向梯度信号传递机制
待验证50%
9月12日
Hinton 在 2022 年提出前向-前向算法(Forward-Forward Algorithm),用两次前向传播替代一次前向加一次反向传播,分别处理正样本和负样本
待验证50%
9月12日
前向-前向算法目前在 MNIST 等简单任务上表现接近反向传播,在复杂任务上仍有显著差距,且本质上仍是有监督的
待验证50%