MLP
最基础的全连接前馈神经网络结构，由输入层、若干隐藏层和输出层组成，通过反向传播算法训练，是深度学习的基础模型之一
时间轴 (近 90 天)
探针是一个轻量分类器，通常是一条线性层或小型MLP，训练时接收模型某一层的激活向量作为输入，输出是否存在目标行为的分数，不修改底层大模型的权重。
实验显示KAN相对MLP在训练过程中的相对性能提升可达50%
KAN将可学习的激活函数放在网络的边（连接）上，而传统MLP在节点上使用固定激活函数、在边上使用可学习权重
论文的核心结论是使用KAN架构可以在样本量减少40%的情况下达到与传统MLP相当的性能
KAN将可学习的激活函数放置在网络的边上，每条边对应一个可训练的样条函数，与传统MLP在节点处应用固定激活函数不同
该项目采用标准的MLP（多层感知机）网络架构，没有依赖复杂的网络设计
一位开发者开源了一个完全用NumPy从零实现的小型多层感知机（MLP），并配备图形界面用于实时观察训练过程中网络内部的变化
神经纹理是将传统纹理信息编码进神经网络（通常是小型MLP或特征网格）的一种表示方式
该研究的实验局限于两层MLP和模块化算术这一相对简化的设定，标度律能否推广到大规模Transformer或真实世界任务仍有待检验
该研究在两层隐藏层MLP上针对模块化算术任务系统扫描了384种超参数配置
还有 15 条时间轴事件
全部知识事实 (20)
探针是一个轻量分类器，通常是一条线性层或小型MLP，训练时接收模型某一层的激活向量作为输入，输出是否存在目标行为的分数，不修改底层大模型的权重。
50%待验证实验显示KAN相对MLP在训练过程中的相对性能提升可达50%
50%待验证KAN将可学习的激活函数放在网络的边（连接）上，而传统MLP在节点上使用固定激活函数、在边上使用可学习权重
50%待验证论文的核心结论是使用KAN架构可以在样本量减少40%的情况下达到与传统MLP相当的性能
50%待验证KAN将可学习的激活函数放置在网络的边上，每条边对应一个可训练的样条函数，与传统MLP在节点处应用固定激活函数不同
50%待验证该项目采用标准的MLP（多层感知机）网络架构，没有依赖复杂的网络设计
50%待验证神经纹理是将传统纹理信息编码进神经网络（通常是小型MLP或特征网格）的一种表示方式
50%待验证该研究在两层隐藏层MLP上针对模块化算术任务系统扫描了384种超参数配置
50%待验证该研究的实验局限于两层MLP和模块化算术这一相对简化的设定，标度律能否推广到大规模Transformer或真实世界任务仍有待检验
50%待验证在小规模下MLP层的FLOPs占比约为44%，而扩展到175B参数时会上升到约80%
50%待验证该框架采用KAN网络替代传统MLP进行图消息传递以增强非线性拟合能力
50%待验证KAN将可学习的激活函数放置在网络的边（连接权重）上，通常以B样条函数实现，而传统MLP在节点上使用固定激活函数
50%待验证PGP-Clinical-TimeKAN采用KAN网络替代传统MLP进行图消息传递以增强非线性拟合能力
50%待验证当每个目标的雷达检测点从1个增加到5个时，Macro F1从0.381跃升至0.764
50%待验证在Transformer架构中，每个层由多头自注意力机制和多层感知机（MLP）两个核心子模块组成，MLP层通常由两个线性变换和一个激活函数组成，隐藏维度往往是输入维度的4倍
50%待验证Geva等人发现MLP的第一个线性层可理解为编码输入模式的「键」，第二个线性层是编码输出分布的「值」，整个MLP层本质上是一个记忆系统
50%待验证2022年Meng等人的「知识神经元」研究表明，事实性知识主要存储在MLP层的键值对中，通过修改特定MLP层的参数可以精确编辑模型的知识
50%待验证在Transformer架构中，每个层由多头自注意力机制和多层感知机（MLP）两个核心子模块组成
50%待验证研究表明注意力层主要负责信息的路由和聚合，而MLP层更像是知识的存储库，负责非线性变换和信息的深度加工
50%待验证MLP层通常由两个线性变换和一个激活函数（如GELU）组成，中间隐藏维度往往是输入维度的4倍
50%