Inception V1
一种早期卷积神经网络架构,常用于计算机视觉研究,曾是可解释性领域的模式生物
时间轴 (近 90 天)
Inception V1(GoogLeNet)是2014年ImageNet竞赛的冠军网络,引入了Inception模块和1×1卷积降维,深度约22层。
关掉该神经元后,在猫脸和狐狸脸上,下一层中「火焰和狐狸脸」神经元的响应下降了约15%,但在测试的75张照片中,网络的最终答案没有一张发生改变。
在该层全部832个神经元上跑同样的尖对圆对比,约有100个神经元比目标神经元更偏好尖的东西,说明这种偏好并不罕见。
复现实验表明,在未经过优化的输入上,该神经元对尖的形状(如V形箭头、三角形、高铁车头、长口鼻的狗)的激活值平均高于圆润形状(如圆环、圆盘、时钟、橙子、扁脸斗牛犬),尖的形状胜出约84次/100。
Camerata 指出狗神经元中隐藏汽车特征并非因为组合读取,而是因为汽车和狗共享姿态;Inception V1 中有上百个这类姿态神经元。
Camerata 重新审视 Inception V1 中的 4E55 神经元,认为它是 V 形神经元,而非猫车神经元;最强激活对应 V 形火焰、V 形狐狸脸等,负极点对应圆形 O。
Inception V1 是 Google 于 2014 年提出的经典卷积网络,因在 ImageNet 上取得突破且结构紧凑,长期是可解释性研究的「果蝇」模型;其 conv5-1 层有 480 个通道,被 Olah 等人用特征可视化系统研究过。
Inception V1模型最后一层约0-5%的神经元能被看懂用途,这是叠加理论的主要证据之一。
将Inception V1某层从480个神经元削减到10个重训,网络没有出现叠加,而是神经元功能变粗泛化。
按原架构重训Inception V1并加入现代正则化后,最后一层约70%的神经元可被解读。
还有 2 条时间轴事件
全部知识事实 (12)
Inception V1(GoogLeNet)是2014年ImageNet竞赛的冠军网络,引入了Inception模块和1×1卷积降维,深度约22层。
50%待验证关掉该神经元后,在猫脸和狐狸脸上,下一层中「火焰和狐狸脸」神经元的响应下降了约15%,但在测试的75张照片中,网络的最终答案没有一张发生改变。
50%待验证在该层全部832个神经元上跑同样的尖对圆对比,约有100个神经元比目标神经元更偏好尖的东西,说明这种偏好并不罕见。
50%待验证复现实验表明,在未经过优化的输入上,该神经元对尖的形状(如V形箭头、三角形、高铁车头、长口鼻的狗)的激活值平均高于圆润形状(如圆环、圆盘、时钟、橙子、扁脸斗牛犬),尖的形状胜出约84次/100。
50%待验证Camerata 指出狗神经元中隐藏汽车特征并非因为组合读取,而是因为汽车和狗共享姿态;Inception V1 中有上百个这类姿态神经元。
50%待验证Camerata 重新审视 Inception V1 中的 4E55 神经元,认为它是 V 形神经元,而非猫车神经元;最强激活对应 V 形火焰、V 形狐狸脸等,负极点对应圆形 O。
50%待验证Inception V1 是 Google 于 2014 年提出的经典卷积网络,因在 ImageNet 上取得突破且结构紧凑,长期是可解释性研究的「果蝇」模型;其 conv5-1 层有 480 个通道,被 Olah 等人用特征可视化系统研究过。
50%待验证Inception V1模型最后一层约0-5%的神经元能被看懂用途,这是叠加理论的主要证据之一。
50%待验证将Inception V1某层从480个神经元削减到10个重训,网络没有出现叠加,而是神经元功能变粗泛化。
50%待验证按原架构重训Inception V1并加入现代正则化后,最后一层约70%的神经元可被解读。
50%待验证通过改进特征可视化技术,Inception V1最后一层可读神经元比例从约0-5%提升到约50%。
50%待验证Nick Cammarata分析指出,InceptionV1的4e:55神经元实际上检测的是V字几何形状,而非猫脸或汽车车头。
50%