#本地LLM部署

共 8 篇相关文章

探索如何利用本地大语言模型（Local LLM）自动将学术论文转换为演示幻灯片，在保护未发表研究数据隐私的同时，大幅提升科研工作者制作PPT的效率。涵盖工具原理、隐私优势及本地AI应用趋势。

Quantprobe是一个开源内存分配优化框架，通过逐层量化布局和智能CPU/GPU拆分，让6GB显存的老显卡以22 tokens/s速度运行30B参数大模型，大幅降低本地LLM部署的硬件门槛。

详解如何用AMD RX 7800 XT 16GB显存本地部署大语言模型驱动量化交易机器人，涵盖ROCm生态现状、7B-14B模型推荐（Qwen2.5、Llama 3.1）、Ollama/LM Studio部署方案及系统架构设计。

开发者发现llama.cpp中一个潜藏多年的CUDA精度Bug，仅影响NVIDIA Tesla P100（sm_60架构）。三行代码修复后，KL散度中位数降低约2300倍，首选token一致性从96.5%提升至99.9%，且性能不损反增。本文深入解析Bug根源、测量数据与市场影响。

小米悄然在Hugging Face上传MiMo-V2.5-DFlash权重，附带独立MTP模型，有望解决llama.cpp兼容问题，让300B超大模型本地推理速度翻倍。社区正期待GGUF量化转换。

详解AI批量重命名工具Pro v5.0的核心功能与实操技巧，借助大语言模型语义理解能力，智能规范文件名长度与格式，支持多引擎API接入和双模型协作，适合短视频创作者和文件管理场景。

深度解析AI驱动科研全流程方法论，涵盖LLM模型选型、Python数据分析自动化、Zotero文献管理、Overleaf论文写作、本地LLM部署及N8N自动化工作流搭建，助你从AI聊天升级为AI做科研。

Ollama是GitHub上17万星标的开源本地大模型部署工具，一行命令即可运行DeepSeek、Qwen、Kimi-K2.5、GLM-5等主流模型。本文详解Ollama的核心优势、支持模型及本地推理的深层意义。