#梯度消失
共 153 篇相关文章
·11 分钟
GLM-5.2发布：MIT开源+百万上下文长程任务标杆
智谱发布旗舰模型GLM-5.2，支持稳定百万token上下文，在FrontierSWE等长程编码基准上接近Opus 4.8水平，采用MIT开源许可证无地域限制，引入IndexShare架构优化降低计算成本。
阅读全文 →
·7 分钟
Transformer是什么？一文读懂所有AI大模型的核心技术
Transformer是GPT-4、Gemini、Claude等所有主流AI大模型的底层技术。本文通俗解读Transformer的注意力机制如何解决旧模型健忘和无法并行两大难题，以及它为何能引发整个生成式AI革命。
阅读全文 →
·10 分钟
后训练数据困境：数量还是质量？合成数据的边际效用递减
探讨大模型后训练阶段的数据策略困境：合成数据堆量是否有效？如何平衡数据规模与质量？深入分析SFT、强化学习中学习信号边际递减现象，以及高难度样本策展的新趋势。
阅读全文 →
·17 分钟
Memorex Code开源：给Coding Agent装上长期记忆
Memorex Code是一套开源的Coding Agent长期记忆系统，解决AI编程助手跨会话记忆丢失问题。支持自动记忆召回、去重裁剪、本地代码库扫描，让项目知识和开发经验持久沉淀，兼容Cursor、Claude Code等主流工具。
阅读全文 →
·19 分钟
KerasFormers：纯Keras 3跨框架预训练Transformer模型库详解
KerasFormers是基于Keras 3多后端架构的预训练Transformer模型库，支持JAX、PyTorch和TensorFlow三大框架无缝切换。本文详解其技术原理、开发者价值及与Hugging Face的差异化定位。
阅读全文 →
·9 分钟
机器学习研究入门：必读论文清单与研究实习申请路径
为ML初学者整理从零到研究实习的完整路径，包括必读经典论文清单（AlexNet、ResNet、Transformer等）、论文阅读方法、复现技巧及研究实习申请的实用建议。
阅读全文 →
·10 分钟
零成本学完机器学习数学：可汗学院完整路线图
基于可汗学院免费视频的机器学习数学学习路线图，涵盖线性代数、微积分、概率统计九大阶段，明确标注必学、选修和可跳过内容，帮助自学者高效打好ML数学基础。
阅读全文 →
·13 分钟
切片Wasserstein距离提升分类可分性：实验与反思
探索用切片Wasserstein距离(SWD)学习特征变换以增大类间分布距离的实验。分析为何该方法对决策树有效却对其他分类器失败，揭示分布度量与分类器匹配的深层问题。
阅读全文 →
·7 分钟
数学还是统计学？进入AI/ML领域的本科专业选择指南
纠结本科选数学还是统计学来进入AI/ML领域？本文从课程内容、就业前景、硕士申请、技能迁移性等维度深度对比两个专业的优劣势，帮助你做出最适合自己的路径选择。
阅读全文 →
·13 分钟
CNN神经网络架构图怎么画？主流工具与方法全解析
系统介绍绘制专业CNN神经网络架构图的主流工具与方法，包括NN-SVG、PlotNeuralNet、Netron、torchviz等，涵盖学术论文、GitHub项目展示等场景的最佳实践建议。
阅读全文 →
·15 分钟
ResNet残差连接为何有效？深层网络退化问题实验复现
通过CIFAR-10实验复现深层网络退化问题：56层普通网络训练准确率仅84%，远低于20层的95%。深入解析ResNet跳跃连接如何解决优化困难，以及残差结构在现代深度学习中的核心地位。
阅读全文 →
·15 分钟
梯度下降训练的普适性：神经网络架构选择真的重要吗
探讨梯度下降训练的普适逼近能力，分析神经网络架构选择与可学习性的关系。从普适逼近定理到神经正切核理论，解读为什么梯度下降能在不同架构下稳定收敛，以及这对深度学习架构设计的启示。
阅读全文 →
·15 分钟
从AI到大模型：理清人工智能概念脉络与技术演进路径
一文梳理人工智能、机器学习、深度学习、大模型、生成式AI之间的关系与发展脉络。从深蓝到ChatGPT，理解Transformer架构如何催生大语言模型，以及普通人如何切入AI应用开发。
阅读全文 →
·11 分钟
无科研导师的本科生，如何开启独立研究？
没有导师、没有实验室的本科生如何开展独立科研？本文从论文复现、开放资源利用、远程导师寻找到成果发表，系统梳理零基础本科生独立研究的完整路径，助你突破资源限制开启学术之路。
阅读全文 →
·8 分钟
C++从零手写CNN：项目该继续打磨还是转向新方向？
一位大一学生用C++17从零实现CNN达到94%准确率后，面临继续深挖还是转向新项目的抉择。本文提供基于边际学习收益的判断框架，帮助ML初学者做出最优学习路径决策。
阅读全文 →
·15 分钟
软件团队AI使用模式：一线开发者的真实实践解析
深入分析软件开发团队如何在实际工作中使用AI工具，涵盖代码补全、知识检索、信任验证等典型模式，以及团队级采用面临的组织挑战与治理建议。
阅读全文 →
·18 分钟
monolog：无需整理的AI笔记应用，语义搜索找回一切
monolog是一款取消文件夹和标签的AI笔记应用，用户只需像聊天一样记录想法，AI自动理解内容并通过语义搜索帮你找回信息。支持iOS、Android、Web等全平台同步。
阅读全文 →
·14 分钟
Cursor实战入门：从零打造仿小红书小程序全流程
本文详解Cursor AI编程工具实战课程，从基础操作到企业级仿小红书微信小程序开发全流程，涵盖代码生成、智能补全、项目部署等核心技能，帮助开发者快速掌握AI驱动编程，提升开发效率。
阅读全文 →
