概念Lottery Ticket Hypothesis / 彩票假说
彩票假设
由Frankle与Carlin于2019年提出的神经网络假设,指出大型随机初始化网络中存在规模更小的子网络,该子网络单独训练可达到与完整网络相近的性能,为大模型可压缩性提供理论支撑
时间轴 (近 90 天)
10月8日
彩票假设由Frankle与Carlin于2019年提出,指出随机初始化的大型神经网络中存在一个规模更小的子网络,单独训练时可达到与原始网络相近甚至更好的性能
待验证50%
10月8日
彩票子网络往往具有低秩或稀疏特征,与潜因子分解所利用的低秩结构高度吻合
待验证50%