#激活函数
共 123 篇相关文章
·15 分钟
一块RTX 5090训练25小时：从零构建2亿参数GPT全记录
开发者用一块租来的RTX 5090显卡，25小时从零训练出2亿参数GPT模型。完整复现RoPE、KV Cache、SwiGLU等现代LLM技术栈，详解训练成本、架构设计与生成效果。
阅读全文 →
·13 分钟
从线性回归到Transformer：免费机器学习系统学习路径推荐
推荐一份从线性回归到Transformer的免费YouTube机器学习播放列表，涵盖完整学习路径规划、高效自学方法与实践建议，适合零基础入门到掌握现代AI核心架构。
阅读全文 →
·15 分钟
重学机器学习：过来人总结的经验教训与高效学习路径
如果重新开始学机器学习，过来人会怎么做？本文总结初学者常犯的三大错误、应该重点投入的方向，以及一套经过验证的高效学习路径，帮你避开弯路，快速建立扎实的ML能力。
阅读全文 →
·16 分钟
ItaSoRL实验揭示：AI智能体为何察觉不到世界破绽
ItaSoRL强化学习实验发现，外部观察者能以99%准确率检测模拟世界破绽，但智能体内部表征仅为随机水平。这一发现挑战了AI安全领域关于模型态势感知的核心假设，揭示可检测性与内部表征之间的真实鸿沟。
阅读全文 →
·13 分钟
Transformer如何思考与存储事实：机制可解释性详解
深入解析Transformer内部工作原理：MLP层如何作为键值查找系统存储事实记忆，高维空间近似正交特性为何能容纳百万概念，以及注意力层与MLP层的协作机制。基于机制可解释性研究的直观解读。
阅读全文 →
·17 分钟
GPT-5.6 SOL向Plus用户开放：AI订阅市场竞争格局解析
OpenAI宣布GPT-5.6 SOL正式向Plus和Pro用户全面开放，打破高级模型仅限顶级订阅的惯例。本文分析OpenAI与Perplexity在模型访问策略上的差异，解读AI订阅市场竞争新趋势。
阅读全文 →
·13 分钟
picodl：用纯NumPy从零手写深度学习库的技术解析
深入解析picodl开源项目，一个用纯NumPy从零实现的轻量级深度学习库。涵盖前向传播、反向传播、梯度计算等核心实现原理，探讨其教育价值与技术改进方向。
阅读全文 →
·14 分钟
GPU利用率100%不等于满负荷：真正诊断训练瓶颈的方法
nvidia-smi显示GPU利用率100%并不意味着训练效率最优。本文解析GPU利用率的欺骗性，介绍DCGM、PyTorch Profiler等专业诊断工具，以及如何用MFU指标衡量真实训练效率。
阅读全文 →
·16 分钟
机器学习入门：如何克服数学焦虑，找到务实的学习路线
机器学习入门总被数学劝退？本文针对ML初学者的数学焦虑，梳理线性代数、微积分、统计学的实际需求程度，提供自上而下的务实学习路线、推荐资源及结伴学习策略，帮你跨越从零到实践的鸿沟。
阅读全文 →
·18 分钟
本地部署AI模型入门：从Hugging Face下载到llama.cpp运行全流程
面向零基础开发者的本地AI模型部署指南，涵盖从Hugging Face安全下载模型、运行推理、导出GGUF格式并通过llama.cpp高性能本地运行的完整流程，附开源Python脚本实践。
阅读全文 →
·12 分钟
机器学习数学基础入门：定义、概率视角与核心框架详解
从Tom Mitchell经典定义的T-P-E框架出发，深入解析机器学习的概率视角，理解随机变量与不确定性决策的数学本质，为系统学习ML打下扎实数学基础。
阅读全文 →
·13 分钟
机器学习编程能力薄弱？系统性刷题突破的完整路径
针对ML从业者「懂原理不会实现」的痛点，提供从数学基础到深度学习组件的系统性编程练习路径，涵盖Deep-ML平台使用方法、分阶段刷题顺序及实战建议。
阅读全文 →
·16 分钟
Mac仅需4.3GB内存运行80B大模型：极限压缩技术解析
深入解析如何在Mac上仅用4.3GB内存运行80B参数大模型的技术原理，涵盖超低比特量化、稀疏化、内存映射等关键技术，探讨本地大模型部署对隐私保护和边缘AI的深远意义。
阅读全文 →
·12 分钟
名校机器学习讲义合集：MIT斯坦福哈佛免费开源课程笔记精选
整理MIT、斯坦福、哈佛等顶尖名校公开的机器学习课程讲义资源，这些免费书面讲义比教科书更贴合前沿，附GitHub开源清单地址与筛选标准详解。
阅读全文 →
·13 分钟
从熵到交叉熵：逻辑回归损失函数的信息论推导
从信息论的熵出发，经过KL散度推导出交叉熵，揭示逻辑回归损失函数与最大似然估计的等价关系。帮助机器学习自学者建立从信息论到具体算法的贯通式理解。
阅读全文 →
·14 分钟
从零训练13亿参数大模型：完整流程与核心挑战解析
深入解析从零训练1.3B参数大语言模型的完整实践流程，涵盖Transformer架构设计、数据准备、分布式训练优化等核心环节，为开发者提供可复现的技术参考。
阅读全文 →
·12 分钟
AI加速失控？前沿实验室呼吁建立减速机制
前沿AI实验室公开表态：未来AI加速开发可能过快，需要主动控制推进速度。本文解读声明背后的递归自我改进隐忧、三方协作治理框架，以及理想与现实之间的执行挑战。
阅读全文 →
·11 分钟
GPT-5.6 Sol自我优化实践：AI如何为自己降本增效
GPT-5.6 Sol通过自我优化实现GPU服务成本降低20%、token生成效率提升15%以上。深入解析AI模型自我优化的技术路径、关键成果及行业启示，探讨递归式效率提升的意义与边界。
阅读全文 →
