深度学习
深度学习是机器学习的一个子领域,通过构建具有多个隐藏层的人工神经网络,自动从数据中提取层次化特征表示,以完成分类、识别、生成等任务。其核心思想是模拟人脑神经元的连接方式,利用大规模数据和反向传播算法进行端到端的训练,广泛应用于计算机视觉、自然语言处理、语音识别等领域。
核心事实
时间轴 (近 90 天)
学习一个网络不能停留在知道它长什么样的浅层,需要理解具体结构、参数数量如何计算、代码如何实现,甚至能够自己构造新的网络结构。
Softmax是深度学习中最常见的归一化函数之一,几乎出现在每一个分类网络和注意力机制中。
AI 研究本身比数学更依赖可验证的进步,因为实验室只关心新算法配方能否在实证上让训练更高效、让模型更聪明,而过去十五年深度学习的进步几乎不需要新理论。
硅谷确实成功预见了移动互联网、云计算、深度学习的崛起。
AI辅助遥感考古通常利用卫星影像、航空摄影、LiDAR等遥感数据,结合机器学习或深度学习模型自动识别地表或近地表可能的人工遗迹特征。
深度学习已在美索不达米亚、中美洲等地区的遥感考古中帮助研究者缩小调查范围。
现有用深度学习加速SDE模拟的监督方法通常依赖长轨迹数据,这需要大量计算资源且覆盖状态空间有限,限制了泛化能力。
在深度学习项目中,从零实现 Transformer 与调用高层 API 的差别在代码层面通常体现为是否出现注意力矩阵的构造、多头切分、位置编码、掩码逻辑等手写张量操作,以及是否自行实现训练循环、损失函数和优化器调度。
该开发者计划在完成剩余算法和概念后进入深度学习领域。
2012到2018年间,学术研究几乎引领了机器学习工业应用的每一步,例如视觉领域的深度网络、强化学习算法,ADAM和TRPO等学术方法很快成为工业标准。
还有 40 条时间轴事件
全部知识事实 (20)
AlexNet在ImageNet竞赛中夺冠正式开启了深度学习时代
90%已验证深度学习在2012年ImageNet竞赛中取得突破性表现,推动连接主义复兴
85%已验证前沿模型存在涌现能力,即在达到某个参数规模阈值后突然展现出训练目标中未明确包含的能力
80%已验证统计模型方法对高维数据的扩展性较差,这是深度学习方法逐步崛起的核心原因
80%已验证深度学习是机器学习的一个子领域,核心是多层人工神经网络,思想最早可追溯至1940年代
80%已验证GPU的大规模并行计算架构天然适合深度学习中的矩阵运算,其数千个计算核心可将训练过程加速数十倍乃至数百倍
80%已验证域偏移是指训练数据分布与实际部署场景数据分布之间的系统性差异,是迁移学习和AI工程落地的核心挑战之一
75%已验证反向传播本质上是一种高效计算梯度的动态规划算法,通过从输出层到输入层逐层传递误差信号并复用中间计算结果来降低梯度计算复杂度
75%已验证AI 编程工具正呈现从「快速生成」走向「深思熟虑」的演进趋势
75%已验证深度学习是当前图像识别、自然语言处理、语音合成等主流AI能力的底层支撑技术
65%已验证人工智能、机器学习、深度学习、大语言模型是层层嵌套的关系:人工智能最宽泛,机器学习是其子集,深度学习是机器学习的分支,大语言模型是深度学习的应用方向
65%已验证样本过于简单则模型无学习价值,过于困难则可能引入噪声学习信号干扰训练,最有效的学习发生在略高于当前能力但仍可企及的区域
65%已验证深度学习模型浅层网络学习的边缘、纹理等低层特征具有较强领域无关性,深层网络编码的高层语义特征更具领域特异性
65%已验证梯度下降是深度学习中最核心的优化算法,其数学本质是沿着损失函数的负梯度方向迭代更新参数
65%已验证相比深度学习,梯度提升在中小型数据集上通常更稳定、更可解释、训练更快
65%已验证ReLU即max(0,x),在2010年代凭借计算高效、梯度稳定的优势迅速普及,成为现代深度学习的默认激活函数
65%已验证GPU的并行计算架构最初源于游戏图形渲染的需求,其计算模式与深度学习的张量批量运算相似
65%已验证建议先掌握经典机器学习原理再进入深度学习,否则容易变成只会调包的调包侠
65%已验证大模型训练阶段的能耗约为推理阶段的数百倍
65%已验证深度学习训练存在固有随机性,相同配置下重新训练结果未必相同,随机性来源包括权重初始化随机种子、数据批次打乱顺序、Dropout引入的随机噪声及分布式训练中浮点运算的非确定性累积误差
65%