[控场AI]

#本地部署

共 459 篇相关文章

OVH开源Olala mini 7A1B:8GB显存跑160 tokens/s的MoE模型
·3 分钟

OVH开源Olala mini 7A1B:8GB显存跑160 tokens/s的MoE模型

OVH发布开源模型Olala mini 7A1B,采用MoE架构与Differential-TPA+Mamba-3混合注意力,仅需8GB显存即可运行,RTX A4500上达160 tokens/s,CPU上50 tokens/s,支持32K上下文,Apache 2.0开源。

阅读全文 →
Qwen 4发布在即,本地模型与闭源巨头差距还有多大?
·5 分钟

Qwen 4发布在即,本地模型与闭源巨头差距还有多大?

Reddit社区热议Qwen 4发布对开源模型格局的影响。用户实测GLM 5.3 Flash等本地模型在日常编程中的表现与成本优势,讨论开源模型与闭源Sonnet 5.5的真实差距。

阅读全文 →
华为开源MACaQ:64分钟量化千亿模型,llama.cpp 1.0发布
·5 分钟

华为开源MACaQ:64分钟量化千亿模型,llama.cpp 1.0发布

华为开源量化工具MACaQ,64分钟完成千亿模型4比特量化,峰值显存32.5GB,预填充与解码速度成倍提升;llama.cpp发布1.0稳定接口,支持150多种模型架构;MiniMax H3 Image最小量化版6.4GB显存让8G显卡可跑;编程智能体榜单转向比拼单题成本。

阅读全文 →
本地运行Opus 5.5:算力门槛与AI的'大型机时代'
·5 分钟

本地运行Opus 5.5:算力门槛与AI的'大型机时代'

Reddit热议本地运行Opus 5.5的可行性:数万亿参数模型需要海量显存与算力,社区就这是'大型机时代'的临时问题还是长期壁垒展开激辩,并探讨ASIC、神经形态芯片等替代路径。

阅读全文 →
本地AI量化入门:用更少显存跑大模型
·3 分钟

本地AI量化入门:用更少显存跑大模型

本地AI量化(Quantization)入门解析:为什么量化能降低大模型显存占用、训练后量化与量化感知训练的区别、权重量化与激活量化的取舍,以及本地部署时选择量化版本需要关注的关键点。

阅读全文 →
Olares One评测:本地AI服务器上手,5000美元值不值?
·9 分钟

Olares One评测:本地AI服务器上手,5000美元值不值?

Olares One个人AI服务器评测:RTX 5090+96GB内存,手机App引导安装,浏览器操作桌面,跑通Ollama本地大模型、ComfyUI图像生成和Hermes AI助手。5000美元定价适合重度AI用户与注重隐私的数据主权追求者。

阅读全文 →
Qwen4本地部署速度前瞻:显存不是唯一,两条路线实测参考
·3 分钟

Qwen4本地部署速度前瞻:显存不是唯一,两条路线实测参考

Qwen4本地部署速度前瞻:B站UP主实测两条路线,Strada方案低门槛但速度依赖CPU,大容量统一内存方案流畅度更高。提醒显存之外KV缓存和运行空间才是关键,硬件配置需等模型正式发布后验证。

阅读全文 →
22万元Mac Studio本地跑AI实测:能替代云端吗?
·11 分钟

22万元Mac Studio本地跑AI实测:能替代云端吗?

海外博主实测22,299美元的M5 Ultra Mac Studio(512GB内存)本地跑AI:内存涨价推高售价,首字延迟、并发能力、缓存调优与Terminal Bench得分全面对比云端方案,算清一年电费与API成本,回答本地AI能否替代云端。

阅读全文 →
16G内存Mac mini跑通330亿参数视频大模型:苹果VPIPE实测
·8 分钟

16G内存Mac mini跑通330亿参数视频大模型:苹果VPIPE实测

16GB内存Mac mini如何跑通330亿参数MiniMax H3视频大模型?B站UP主实测苹果原生推理引擎VPIPE,靠权重流式传输把SSD当显存,两步完成8bit量化与文生视频出片,附完整部署要点与参数设置。

阅读全文 →
Unsloth发布Qwen3.8-27B动态v3.1量化更新
·4 分钟

Unsloth发布Qwen3.8-27B动态v3.1量化更新

Unsloth 发布 Qwen3.8-27B 的 Dynamic v3.1 量化更新。本文分析动态量化策略的含义、对本地部署者的显存与质量权衡,以及当前社区验证信息不足时该如何评估是否迁移。

阅读全文 →
WhaleLife开源:给AI一个独立身体
·6 分钟

WhaleLife开源:给AI一个独立身体

WhaleLife项目开源,给AI一个独立身体。本文解析其记忆架构简化、插件子进程隔离、自主唤醒判断、QQ/B站集成、内置视听理解等设计,基于Node.js和TypeScript,采用AGPL-3.0协议。

阅读全文 →
Unsloth发布Qwen3.8-27B动态V3.1量化版本
·6 分钟

Unsloth发布Qwen3.8-27B动态V3.1量化版本

Unsloth 发布 Qwen3.8-27B 的 Dynamic v3.1 GGUF 量化版本,覆盖 2-6bit,声称在 DeepSWE、Terminal Bench、LiveCodeBench 上比 UD3 及 GSQ-RCO、Exllama-3 提升 5-10% 准确率,并回应了与 ISTA 的基准争议。

阅读全文 →
告别Copilot订阅费:三款免费本地AI编程工具推荐
·5 分钟

告别Copilot订阅费:三款免费本地AI编程工具推荐

GitHub Copilot每月20美元太贵?Workflows HQ推荐三款免费本地AI编程工具:Cursor离线补全、Clawed 3.7处理多文件架构、Make自动化测试部署,覆盖开发全流程。

阅读全文 →
Ollama保姆级教程:零基础本地部署AI大模型
·5 分钟

Ollama保姆级教程:零基础本地部署AI大模型

零基础 Ollama 安装部署教程:讲解软件与模型分盘存放的三种安装方式、如何修改模型目录、装好后如何用命令运行模型,并按显存大小给出模型选择建议与思考模式关闭技巧。

阅读全文 →
手把手搭建本地DeepSeek:联网+知识库全攻略
·6 分钟

手把手搭建本地DeepSeek:联网+知识库全攻略

B站教程完整演示如何用Ollama、Chatbox和AnythingLLM搭建纯本地DeepSeek环境,支持联网搜索与私有知识库,涵盖蒸馏模型选择、RAG原理和常见问题解决,适合注重隐私与零成本调用的用户。

阅读全文 →
本地部署再引热议:用户自测插件竟遭封号警告
·4 分钟

本地部署再引热议:用户自测插件竟遭封号警告

Reddit用户因对自研插件进行红队测试遭平台封禁威胁,申诉被秒拒。事件引发社区对本地部署价值的讨论,凸显云端风控与开发者自由之间的张力。

阅读全文 →
Ollama选模型完全指南:从配置到量化避坑
·5 分钟

Ollama选模型完全指南:从配置到量化避坑

Ollama选模型完全指南:从查看电脑配置到逛官方模型库,详解Tools、Thinking、Vision、Decision等标签含义,以及参数规模、量化精度与上下文缓存的取舍策略,助你避开卡死闪退的坑。

阅读全文 →
AI大模型本地部署42环路线图:5段拆解与通关指南
·8 分钟

AI大模型本地部署42环路线图:5段拆解与通关指南

AI大模型本地部署常卡在环境配置?B站UP主将全流程拆成42环、5个阶段(98898),含8个自测问题、4个静默失败高危环、3种使用路径时间账与买卡建议,帮你定位卡点、规划今晚该走哪一步。

阅读全文 →