#nvidia-smi
共 21 篇相关文章
·15 分钟
AI专业选电脑：MacBook还是NVIDIA笔记本？深度对比指南
AI专业大学生选电脑深度分析：MacBook Air M5搭配远程GPU vs NVIDIA独显笔记本，从CUDA支持、便携性、续航、性价比等维度全面对比，附实操建议。
阅读全文 →
·14 分钟
自托管LLM技术栈：从终端统一管理本地AI集群的完整指南
深入解析如何自托管LLM技术栈，涵盖推理引擎选型、模型管理、向量数据库配置等核心组件，探讨从终端统一管理本地AI集群的实践方案、硬件要求与技术挑战。
阅读全文 →
·13 分钟
Stoa Markets：GPU与AI服务器交易市场如何解决算力供需难题
深度解析YC孵化的Stoa Markets如何搭建GPU与AI服务器交易市场，解决算力供需碎片化、价格不透明等核心痛点，分析其商业模式、行业定位及面临的挑战。
阅读全文 →
·10 分钟
GPU利用率不足30%：预留资源闲置的破局之道
企业GPU集群平均利用率不足30%，预留资源大量闲置。本文从真实案例出发，剖析僵尸Notebook、归属缺失等根因，提供资源标签、空闲超时回收、弹性调度等实用解决方案，帮助团队有效降低GPU成本。
阅读全文 →
·14 分钟
GPU利用率100%不等于满负荷：真正诊断训练瓶颈的方法
nvidia-smi显示GPU利用率100%并不意味着训练效率最优。本文解析GPU利用率的欺骗性，介绍DCGM、PyTorch Profiler等专业诊断工具，以及如何用MFU指标衡量真实训练效率。
阅读全文 →
·8 分钟
Ollama运行Claude Code完整指南：API报错排查与本地模型优化
详解通过Ollama本地运行Claude Code时遇到的API报错、输出token上限、模型卡死等常见问题，提供模型选择、参数调优及替代工具推荐等实用解决方案。
阅读全文 →
·7 分钟
本地大模型跑Agent卡顿？调低num_gpu是关键
本地部署大模型在Agent框架中频繁崩溃或卡顿？问题可能出在num_gpu参数设置过高。本文解析num_gpu的真实含义（GPU层卸载而非显卡数量），揭示显存争夺导致KV Cache溢出的机制，并提供实用调优方案。
阅读全文 →
·12 分钟
Ollama接入OpenWebUI效果变差？完整排查指南
详解Ollama连接OpenWebUI后回答质量下降、响应变慢的常见原因，涵盖num_ctx上下文截断、采样参数差异、GPU资源争抢、系统提示词干扰等排查方法，附系统化排查清单。
阅读全文 →
·19 分钟
YOLOv8环境搭建完整指南：从Miniconda到Ultralytics安装
YOLOv8（Ultralytics）环境搭建全流程详解：Miniconda安装配置、PyTorch与CUDA版本匹配、源码安装vs pip安装对比，以及Windows终端使用技巧，帮你避开新手最常踩的坑。
阅读全文 →
llmfit：一条命令检测硬件能跑哪些本地大模型
·15 分钟
llmfit：一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具，无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端，帮助开发者在本地部署大模型前快速完成硬件适配评估，避免反复试错。
阅读全文 →
·11 分钟
E2AM：两行代码量化AI训练能耗与碳排放的开源工具
E2AM是一款Green AI开源工具，只需两行代码即可监测AI模型训练的能耗、碳排放和每焦耳准确率等指标，支持PyTorch与Hugging Face生态，本地运行无需服务器，助力可持续AI研究。
阅读全文 →
·17 分钟
强化学习算力优化实战：提升CPU与GPU利用率的核心策略
深入讲解强化学习训练中CPU与GPU利用率低的根本原因，涵盖向量化环境并行、分布式Actor-Learner架构、GPU端环境模拟（Isaac Gym/Brax）及Ray RLlib实践，帮助RL工程师最大化计算资源效率。
阅读全文 →
·14 分钟
4090跑Qwen3 27B为何这么慢？本地推理性能优化实战
RTX 4090运行Qwen3 27B模型推理耗时超400秒？本文深入分析显存溢出、CPU卸载拖累等核心原因，并提供量化选型、GPU层配置等针对性优化方案，帮你彻底解决本地大模型部署的性能瓶颈。
阅读全文 →
·16 分钟
逆向CUDA-checkpoint：破解GPU冷启动的技术原理与实践
深入解析Nvidia CUDA-checkpoint逆向工程实践，探索GPU冷启动加速原理。涵盖检查点/恢复机制、Serverless GPU应用前景与显存快照的技术挑战，助力AI推理基础设施优化决策。
阅读全文 →
·12 分钟
GitHub项目复现全流程：从零开始的实战指南
系统讲解如何从零复现GitHub开源项目，涵盖尽职调查（Star/Issues/README）、虚拟环境搭建、依赖安装、脚本解读、断点调试等完整流程，帮助研究生和初级开发者高效跑通别人的代码，少走弯路。
阅读全文 →
·11 分钟
Llama.cpp Windows本地部署教程：免编译三步运行大模型
详解Llama.cpp在Windows系统上的免编译本地部署方法。从下载预编译包、配置CUDA依赖到运行GGUF量化模型，三步完成大模型本地推理，支持GPU加速与Web界面，适合零基础用户快速上手。
阅读全文 →
·12 分钟
PyTorch入门指南：深度学习框架选型与发展全解析
全面解析PyTorch为何成为最主流的深度学习框架。从框架发展史出发，对比TensorFlow、Keras等框架优劣，详解PyTorch动态图机制、Tensor核心概念、安装版本选择及未来云端化趋势。
阅读全文 →
教程攻略·8 分钟
Claude Code实战：五子棋VibeCoding开发与防降智技巧
通过五子棋游戏实战项目，详解Claude Code三种工作模式、开发流程及防降智核心技巧。掌握Compact和Clear命令进行上下文管理，安装监控插件实时追踪上下文占用，充分发挥AI编程效率。
阅读全文 →
