#本地LLM
共 32 篇相关文章
千元预算搭建外置GPU跑本地LLM：eGPU选购与配置实用指南
·5 分钟
千元预算搭建外置GPU跑本地LLM：eGPU选购与配置实用指南
在1000美元预算内搭建eGPU方案运行本地LLM？本文详解显卡选择策略、扩展坞成本分配、RTX 3090/3060性价比对比，以及Ollama、llama.cpp等主流工具推荐，帮你把每一分预算花在刀刃上。
阅读全文 →
·8 分钟
Capacity Desktop：免费本地运行的Lovable替代方案详细测评
Capacity Desktop是一款运行在Mac本地的免费AI应用生成器，支持自然语言生成真实应用，代码存储在本地并可同步GitHub。无需注册、无平台锁定，按AI实际成本计费。本文详细解析其与Lovable等云端工具的核心差异。
阅读全文 →
·16 分钟
Quantprobe：6GB显卡跑30B大模型的开源利器
Quantprobe是一个开源内存分配优化框架，通过逐层量化布局和智能CPU/GPU拆分，让6GB显存的老显卡以22 tokens/s速度运行30B参数大模型，大幅降低本地LLM部署的硬件门槛。
阅读全文 →
·12 分钟
本地部署LLM打造交易机器人：硬件选型与模型推荐
详解如何用AMD RX 7800 XT 16GB显存本地部署大语言模型驱动量化交易机器人，涵盖ROCm生态现状、7B-14B模型推荐（Qwen2.5、Llama 3.1）、Ollama/LM Studio部署方案及系统架构设计。
阅读全文 →
·14 分钟
本地AI Agent架构实战：从零散脚本到个人Jarvis
详解如何将散落的自动化脚本整合为本地AI Agent智能中枢。涵盖Function Calling核心机制、Ollama+Qwen2.5本地部署方案、工具编排架构设计及完整落地路线图，适合独立开发者和小团队。
阅读全文 →
·13 分钟
24GB Mac Mini本地跑大模型：模型选型与速度优化指南
24GB内存Mac Mini运行本地大模型太慢？本文分析14B模型在Mac Mini上慢的原因，推荐适合Home Assistant等场景的3B-8B模型选型方案，并提供Ollama推理速度优化的实用建议。
阅读全文 →
·17 分钟
自建多功能服务器配置指南：流媒体+AI推理+应用托管一机搞定
详解如何用500美元预算搭建多功能家用服务器，涵盖Jellyfin流媒体、Ollama本地AI推理、Web应用托管和Pi-hole广告拦截的硬件选型、双RTX 3060显卡方案及内网穿透部署建议。
阅读全文 →
科技前沿
每日AI新鲜事·08月02日午间版：本地跑大模型的瓶颈与突破
·1 分钟
每日AI新鲜事·08月02日午间版：本地跑大模型的瓶颈与突破
2026年08月02日午间版 AI新闻速递+热点深度讨论
阅读全文 →
·7 分钟
本地大模型跑Agent卡顿？调低num_gpu是关键
本地部署大模型在Agent框架中频繁崩溃或卡顿？问题可能出在num_gpu参数设置过高。本文解析num_gpu的真实含义（GPU层卸载而非显卡数量），揭示显存争夺导致KV Cache溢出的机制，并提供实用调优方案。
阅读全文 →
·8 分钟
Claude Code vs Codex：AI编程工具实战对比与安装指南
深度对比Claude Code与Codex两大AI编程工具的核心差异，涵盖准确性评测、安装部署流程、国内网络配置技巧，帮助开发者选择最适合的工程化AI编码方案。
阅读全文 →
·6 分钟
RX 9060 XT vs RTX 5060 Ti：本地AI显卡怎么选
RX 9060 XT与RTX 5060 Ti同为16GB显存，本地AI推理该选谁？从CUDA生态、ROCm兼容性、LLM推理性能到实际使用体验，全面对比两款显卡在本地AI场景中的优劣与适用人群。
阅读全文 →
·9 分钟
三行代码修复：Tesla P100在llama.cpp中精度提升2300倍
开发者发现llama.cpp中一个潜藏多年的CUDA精度Bug，仅影响NVIDIA Tesla P100（sm_60架构）。三行代码修复后，KL散度中位数降低约2300倍，首选token一致性从96.5%提升至99.9%，且性能不损反增。本文深入解析Bug根源、测量数据与市场影响。
阅读全文 →
·14 分钟
小米静默发布MiMo-V2.5-DFlash：300B模型推理速度或将翻倍
小米悄然在Hugging Face上传MiMo-V2.5-DFlash权重，附带独立MTP模型，有望解决llama.cpp兼容问题，让300B超大模型本地推理速度翻倍。社区正期待GGUF量化转换。
阅读全文 →
·16 分钟
Mesh LLM：用多台旧电脑拼出虚拟超级显卡跑大模型
Mesh LLM 是一款开源分布式推理框架，通过模型分层拆分，将多台普通设备聚合成「虚拟超级显卡」，让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验，以及网络带宽这一不可回避的物理瓶颈。
阅读全文 →
·14 分钟
GDScript+Vulkan在Godot中运行Gemma大语言模型实验
开发者仅凭GDScript与Vulkan计算着色器，无需llama.cpp或外部依赖，在Godot 4引擎内完整运行Gemma大语言模型。本文深入解析其技术架构、性能表现与实际价值，探讨游戏引擎原生运行LLM的可行性。
阅读全文 →
·11 分钟
Zer0Fit：用MCP将谷歌TabFM与TimesFM接入LLM聊天界面
Zer0Fit是一个开源项目，将谷歌TabFM和TimesFM两款机器学习基础模型封装为MCP服务器，让用户无需编写ML代码，直接通过本地LLM完成分类、回归与时间序列预测任务。本文详解其技术架构、性能表现与使用局限。
阅读全文 →
Relm：让本地大模型成为R语言原生对象的开源工具
·12 分钟
Relm：让本地大模型成为R语言原生对象的开源工具
Relm将本地大语言模型封装为R语言原生对象，支持本地推理、数据隐私保护与可解释性分析。本文深度解析其核心设计理念、差异化亮点及适用场景，为R语言数据科学家提供LLM集成新思路。
阅读全文 →
·12 分钟
Ollama为何快速崛起？拆解本地大模型工具的成功逻辑
Ollama如何从小众开源项目成长为开发者默认选择？本文从产品设计、技术策略、生态建设三个维度，拆解Ollama在本地大语言模型工具领域快速崛起的核心逻辑，以及它对AI工具开发者的启示。
阅读全文 →
·10 分钟
FTPO：从训练层面根治AI重复循环的新方案
大语言模型"死循环"（Doom Loop）困扰着无数AI用户。本文深入解析FTPO（最终Token偏好优化）的核心原理——如何通过训练阶段的偏好优化，而非推理时补丁，从根源修正模型重复生成的顽疾，并探讨其对小模型与本地部署场景的实际价值。
阅读全文 →
·17 分钟
HuggingFace开源ml-intern：能读论文、自主训模型的AI工程师
Hugging Face开源项目ml-intern，可自主读论文、写训练脚本、Finetune大模型，深度集成HF生态与smolagents框架。本文解析其核心功能、模型切换方式及对ML工程师职业的真实影响。
阅读全文 →