[控场AI]

#本地LLM

共 15 篇相关文章

Gemini 4 Neon开放付费API:百万token长任务与本地LLM实测
·6 分钟

Gemini 4 Neon开放付费API:百万token长任务与本地LLM实测

Gemini 4 Neon开放付费API,支持100万token长上下文,输入每百万token 3美元、输出15美元;OpenAI实时听写取消10分钟限制;本地LLM实测显示推理软件带来数量级速度差异;GitHub Skills按star排名更新。

阅读全文 →
先算天花板:本地LLM加速的新思路
·5 分钟

先算天花板:本地LLM加速的新思路

介绍一个开源的agent skill,用爬山法优化本地LLM服务速度。核心方法论:先计算性能天花板、单变量改动、交错控制排除测量噪声。即使不安装工具,这套优化框架也值得借鉴。

阅读全文 →
U盘里的离线生存助手:本地LLM+Kiwix实测
·3 分钟

U盘里的离线生存助手:本地LLM+Kiwix实测

Hacker News讨论的离线生存助手项目,将本地LLM与Kiwix离线知识库打包进U盘,无网环境下提供问答与资料检索。本文分析其技术构成、实际可用性与适用场景。

阅读全文 →
笔记本上的Qwen 3.8 27B也能读懂模型权重
·5 分钟

笔记本上的Qwen 3.8 27B也能读懂模型权重

前沿论文提出权重空间编程后,Simon Willison用笔记本上的Qwen 3.8 27B复现实验:仅凭浮点权重判断游戏类型,四局猜中三局。本文梳理实验细节、推理轨迹与围绕该论文的争议。

阅读全文 →
Survival LLM:离线运行的个人AI应急助手
·5 分钟

Survival LLM:离线运行的个人AI应急助手

Survival LLM 是一个可在个人电脑上离线运行的 AI 助手兼应急资料库,不依赖云端 API。本文分析其离线优先设计、技术取舍、适用场景,以及本地化 AI 在韧性与隐私方面的意义。

阅读全文 →
本地LLM如何装下更多网页搜索数据:Markdown输出实测
·9 分钟

本地LLM如何装下更多网页搜索数据:Markdown输出实测

SerpApi Markdown 输出让本地 LLM 在相同上下文窗口内装下更多网页搜索数据:同样字段省 27% token,完整响应缩小 4.6 倍。附四个本地模型的实测耗时与输出模式选择建议。

阅读全文 →
本地LLM不是不行,是你的上下文有Bug
·5 分钟

本地LLM不是不行,是你的上下文有Bug

本地LLM编码Agent反复读取文件、声称看不到内容,开发者一度归咎于4B模型能力不足。控制实验证明:修复框架上下文保留bug后,同一模型以最短路径完成任务。强模型用自我修复掩盖缺陷,弱模型反而暴露出框架漏洞。

阅读全文 →
PolicyLens AI:用本地LLM把保险条款变成人话
·5 分钟

PolicyLens AI:用本地LLM把保险条款变成人话

PolicyLens AI 是一款开源保险文档分析工具,用本地 LLM(Ollama/Gemma)把复杂保单转成平实摘要,自动检测免责条款与理赔风险,支持交互问答,数据不出本机。面向保险经纪人、理财师等 B2B 场景。

阅读全文 →
Ollama替代品实测:封装层比llama.cpp慢多少
·13 分钟

Ollama替代品实测:封装层比llama.cpp慢多少

实测 OLLama 与 llama.cpp 在同一模型文件上的性能差距,盘点 2026 年 Ollama 的八大替代方案:llama.cpp、LM Studio、vLLM、Jan、LocalAI、Docker Model Runner 与 MLX LM,并给出避免迁移两次的选型清单。

阅读全文 →
本地LLM打造Java修复工具的三个经验
·4 分钟

本地LLM打造Java修复工具的三个经验

开发者分享用本地LLM构建Java代码修复工具的实战经验:上下文窗口管理、结构化prompt设计、编译验证闭环三大要点,为AI编程工具开发提供参考。

阅读全文 →
Obsidian 2026:MCP 打通 AI 代理与本地知识库
·9 分钟

Obsidian 2026:MCP 打通 AI 代理与本地知识库

2026年 Obsidian 知识管理的重点转向 AI 集成:通过 MCP 将仓库接入 AI 代理,用 Smart Connections 和 Copilot 搭建本地 LLM 助手,在隐私与功能之间找到平衡。

阅读全文 →
谁在吃我的GPU?调用方级归因揭开家庭GPU真相
·8 分钟

谁在吃我的GPU?调用方级归因揭开家庭GPU真相

一位homelab玩家用7天、1055条采样的调用方级GPU归因,揭开RTX 3090被谁占用的真相:47%给了自己的助手,17%给了可观测性栈。本文解析caller→server归因如何把"GPU满载"的告警变成可行动的诊断。

阅读全文 →