#本地大模型
共 249 篇相关文章
·9 分钟
本地大模型选型指南：网络安全紫队实战应用
深入解析网络安全紫队和SOC团队如何选择本地部署的大语言模型，涵盖硬件约束分析、审查与无审查模型对比、Qwen2.5/DeepSeek-R1/WhiteRabbitNeo等具体模型推荐，以及RAG知识库和工具链集成的实战落地方案。
阅读全文 →
·13 分钟
五个本地大模型建了座小镇，涌现出Facebook和鸭子征信局
开发者让Mistral、Qwen、Llama等五个不同本地大模型在虚拟小镇Pepperton中自主生活，AI居民自发发明了社交网络、集体阴谋论和判例法体系。开源项目完整复现多智能体社会涌现实验。
阅读全文 →
·16 分钟
Homebench：本地大模型速度、内存与质量三维评测工具详解
Homebench是一款开源的本地大模型评测工具，从速度、内存占用和输出质量三个维度综合评估LLM在本地硬件上的真实表现，帮助开发者做出最优的模型选型和量化方案决策。
阅读全文 →
科技前沿
每日AI新鲜事·08月03日晚间版：Cursor上下文丢失与本地大模型调教
·1 分钟
每日AI新鲜事·08月03日晚间版：Cursor上下文丢失与本地大模型调教
2026年08月03日晚间版 AI新闻速递+热点深度讨论
阅读全文 →
·7 分钟
本地大模型跑Agent卡顿？调低num_gpu是关键
本地部署大模型在Agent框架中频繁崩溃或卡顿？问题可能出在num_gpu参数设置过高。本文解析num_gpu的真实含义（GPU层卸载而非显卡数量），揭示显存争夺导致KV Cache溢出的机制，并提供实用调优方案。
阅读全文 →
·9 分钟
苹果芯片LLM推理速度实测：Apple Silicon本地大模型性能全解析
深度解析Apple Silicon芯片本地LLM推理速度实测数据，涵盖M系列芯片内存带宽、模型量化精度、MLX框架优化等关键因素，为Mac本地部署大模型提供选购与配置参考。
阅读全文 →
·15 分钟
jlens-gguf：为llama.cpp本地大模型带来雅可比透镜可视化与引导
jlens-gguf是一款开源工具，将Anthropic雅可比透镜（Jacobian Lens）可解释性方法引入GGUF与llama.cpp生态，支持模型内部观测、实时引导（steering）及abliteration操作，兼容dense与MoE架构，让本地推理用户也能探索大模型内部机制。
阅读全文 →
·17 分钟
ChatGPT接入本地大模型：零成本无限Token完整教程
手把手教你将ChatGPT桌面端接入本地大模型，实现零成本、无限Token、数据完全本地化。涵盖Ollama直连方案与CC Switch中转方案，兼容LM Studio、llama.cpp、vLLM，同样适用于Claude Code等AI智能体。
阅读全文 →
llmfit：一条命令检测硬件能跑哪些本地大模型
·15 分钟
llmfit：一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具，无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端，帮助开发者在本地部署大模型前快速完成硬件适配评估，避免反复试错。
阅读全文 →
Relm：让本地大模型成为R语言原生对象的开源工具
·12 分钟
Relm：让本地大模型成为R语言原生对象的开源工具
Relm将本地大语言模型封装为R语言原生对象，支持本地推理、数据隐私保护与可解释性分析。本文深度解析其核心设计理念、差异化亮点及适用场景，为R语言数据科学家提供LLM集成新思路。
阅读全文 →
·13 分钟
Ollama获6500万美元B轮：85%财富500强已部署本地大模型
本地大模型工具Ollama完成6500万美元B轮融资，累计融资8800万美元。900万开发者在用，85%财富500强企业内部已部署。本文深度解析企业青睐本地大模型的核心原因：数据合规、Agent降本、开源生态三大驱动力。
阅读全文 →
·12 分钟
Ollama为何快速崛起？拆解本地大模型工具的成功逻辑
Ollama如何从小众开源项目成长为开发者默认选择？本文从产品设计、技术策略、生态建设三个维度，拆解Ollama在本地大语言模型工具领域快速崛起的核心逻辑，以及它对AI工具开发者的启示。
阅读全文 →
·14 分钟
AMD Ryzen AI Halo开发套件：4000美元本地大模型利器对标苹果英伟达
AMD正式发布Ryzen AI Halo本地AI开发套件，售价约4000美元，搭载128GB统一内存，支持本地运行70B大模型。本文深度解析其配置亮点、定价策略及在本地AI算力市场的竞争格局，并梳理Anthropic大模型可解释性研究等科技要闻。
阅读全文 →
·13 分钟
AMD显卡跑本地大模型：卸载Ollama换LM Studio，速度翻7倍
AMD显卡用户跑本地大模型屡遭黑屏掉卡？本文复盘Ollama三大致命痛点，详解迁移至LM Studio后token速度从5提升至36的完整方案，含ROCm配置、投机采样开启及GFX版本避坑指南。
阅读全文 →
·15 分钟
Ollama：175K Star本地大模型一键运行工具
Ollama是GitHub上超175K Star的开源本地大模型运行工具，基于Go语言开发，支持Llama、Mistral、Qwen等主流模型，三步即可完成本地部署，开箱即用，适合开发者与AI爱好者快速上手本地LLM推理。
阅读全文 →
·14 分钟
银行医院为何必须用Local AI？本地大模型私有化部署全解析
云端AI随用随取，为何银行、医院仍要自建Local AI？本文深度解析本地大模型私有化部署的核心驱动力、完整技术栈（Ollama、RAG、向量数据库），以及知识问答、合规审查等落地场景，帮你看清企业级AI部署的必然趋势。
阅读全文 →
·9 分钟
XiaoWu语音输入法：本地大模型驱动，离线也能精准识别
XiaoWu是一款完全本地运行的AI语音输入法，基于本地大语言模型实现高精准语音识别、智能标点添加和极简交互设计。无需联网，保护隐私，支持一键安装，适合高频文字输入场景。
阅读全文 →
·10 分钟
Claude Code连接本地大模型：免Token部署方案与配置指南
详解Claude Code本地化部署的三层架构原理，对比Ollama、LM Studio、vLLM等推理引擎方案，涵盖环境变量配置、协议转换、硬件选型等实操要点，助你实现零Token成本的AI编程体验。
阅读全文 →
