#本地LLM
共 15 篇相关文章

Gemini 4 Neon开放付费API:百万token长任务与本地LLM实测
Gemini 4 Neon开放付费API,支持100万token长上下文,输入每百万token 3美元、输出15美元;OpenAI实时听写取消10分钟限制;本地LLM实测显示推理软件带来数量级速度差异;GitHub Skills按star排名更新。

先算天花板:本地LLM加速的新思路
介绍一个开源的agent skill,用爬山法优化本地LLM服务速度。核心方法论:先计算性能天花板、单变量改动、交错控制排除测量噪声。即使不安装工具,这套优化框架也值得借鉴。

U盘里的离线生存助手:本地LLM+Kiwix实测
Hacker News讨论的离线生存助手项目,将本地LLM与Kiwix离线知识库打包进U盘,无网环境下提供问答与资料检索。本文分析其技术构成、实际可用性与适用场景。

笔记本上的Qwen 3.8 27B也能读懂模型权重
前沿论文提出权重空间编程后,Simon Willison用笔记本上的Qwen 3.8 27B复现实验:仅凭浮点权重判断游戏类型,四局猜中三局。本文梳理实验细节、推理轨迹与围绕该论文的争议。

Survival LLM:离线运行的个人AI应急助手
Survival LLM 是一个可在个人电脑上离线运行的 AI 助手兼应急资料库,不依赖云端 API。本文分析其离线优先设计、技术取舍、适用场景,以及本地化 AI 在韧性与隐私方面的意义。

本地LLM如何装下更多网页搜索数据:Markdown输出实测
SerpApi Markdown 输出让本地 LLM 在相同上下文窗口内装下更多网页搜索数据:同样字段省 27% token,完整响应缩小 4.6 倍。附四个本地模型的实测耗时与输出模式选择建议。

本地LLM不是不行,是你的上下文有Bug
本地LLM编码Agent反复读取文件、声称看不到内容,开发者一度归咎于4B模型能力不足。控制实验证明:修复框架上下文保留bug后,同一模型以最短路径完成任务。强模型用自我修复掩盖缺陷,弱模型反而暴露出框架漏洞。

PolicyLens AI:用本地LLM把保险条款变成人话
PolicyLens AI 是一款开源保险文档分析工具,用本地 LLM(Ollama/Gemma)把复杂保单转成平实摘要,自动检测免责条款与理赔风险,支持交互问答,数据不出本机。面向保险经纪人、理财师等 B2B 场景。

Ollama替代品实测:封装层比llama.cpp慢多少
实测 OLLama 与 llama.cpp 在同一模型文件上的性能差距,盘点 2026 年 Ollama 的八大替代方案:llama.cpp、LM Studio、vLLM、Jan、LocalAI、Docker Model Runner 与 MLX LM,并给出避免迁移两次的选型清单。

本地LLM打造Java修复工具的三个经验
开发者分享用本地LLM构建Java代码修复工具的实战经验:上下文窗口管理、结构化prompt设计、编译验证闭环三大要点,为AI编程工具开发提供参考。

Obsidian 2026:MCP 打通 AI 代理与本地知识库
2026年 Obsidian 知识管理的重点转向 AI 集成:通过 MCP 将仓库接入 AI 代理,用 Smart Connections 和 Copilot 搭建本地 LLM 助手,在隐私与功能之间找到平衡。

谁在吃我的GPU?调用方级归因揭开家庭GPU真相
一位homelab玩家用7天、1055条采样的调用方级GPU归因,揭开RTX 3090被谁占用的真相:47%给了自己的助手,17%给了可观测性栈。本文解析caller→server归因如何把"GPU满载"的告警变成可行动的诊断。

Patzer:自托管开源国际象棋平台,Stockfish+本地LLM打造私有Chess.com
开发者为家庭打造的开源自托管国际象棋平台 Patzer,一个 Docker 容器集成 Stockfish 引擎与本地 LLM,支持对局复盘、人机对战、AI 教练,数据全程留在局域网,MIT 许可证。

Redis之父新作ds4:本地运行大语言模型的新尝试
Redis之父antirez推出本地LLM运行工具ds4,在Hacker News引发关注。本文分析本地化大语言模型部署的趋势,并结合antirez的技术风格推测ds4的定位与价值。
产品体验Qwen3.6本地部署实战:35B模型逆向LTE调制解调器击败Claude
Qwen 3.6 35B MoE模型在MacBook本地运行,成功逆向工程LTE调制解调器Web门户,从混淆JS代码中提取登录逻辑和信号数据,代码质量超越Claude Sonnet,Gemma 4同一任务失败。详解三级测试体系与近4小时推理全过程。