[控场AI]
· 7 分钟阅读· 3,745 字

Mac本地无审查AI:按内存选模型指南

Mac本地无审查AI:按内存选模型指南

Mac上运行无审查AI,先看统一内存能否装下模型,再谈模型是否不设限。

文章指出,在Mac上使用"无审查AI"其实是内存与模型两个问题的叠加,且内存往往更具决定性。Apple Silicon采用统一内存架构,模型需与系统和应用共享同一内存池,因此芯片型号决定速度、内存大小决定能加载哪些模型。文中给出实用估算:模型文件加1-2GB上下文开销,需装进系统占用4-6GB后的剩余空间。作者列出从5GB的Llama 3.1 8B Abliterated到24GB的Qwen 3.6 35B MoE Abliterated的推荐列表,并给出16GB、24GB、32GB、48GB各档位可运行的模型。图像与视频生成由应用内Create功能提供,含Unfiltered分组。本地运行不发送提示词与回答,仅查询更新与Cloud开关计数。Mac版本仍为beta,仅在一台M5 Pro 48GB上验证。

核心结论:先看内存,再选模型

在Mac上运行"无审查AI"实际上是两个问题:哪些模型不对请求设限,以及哪些模型能装进你的Mac内存。第二个问题往往比第一个更具决定性。

据开发者在博客中披露的信息,Locally Uncensored的Mac版本目前仍处于beta阶段,仅在一台M5 Pro(48GB内存)上测试过。文中的尺寸数据来自模型文件本身,未在Mac上实际运行的场景会明确标注。

Uncensored AI on a Mac 来源截图

"无审查"在本地模型中意味着什么

本地模型前面没有审核层。没有程序会在模型读取之前检查你的提示词,也没有程序会在之后检查回答。剩下的只有模型自身的训练结果——而来自大型实验室的默认模型,其训练目标之一就是拒绝一系列请求。

人们称为"无审查"的模型改变了这一点。最常见的有两个标签:

  • Abliterated:将权重中产生拒绝行为的方向移除
  • Heretic:使用Heretic工具进行的abliteration,思路相同但自动化

两者都不是魔法。一个abliterated模型仍然可能偶尔拒绝回答,而去除拒绝行为也可能在其他方面带来质量损失。如果某个模型对你询问的内容反复回避,建议尝试列表中的另一个模型,而不是先质疑自己的提示词。

应用本身不添加任何额外内容。默认人设仅声明角色,不包含任何方向的内容规则,因此你得到的就是模型本身。

Abliteration(消融拒答)是一种模型权重后处理技术。研究人员发现,大型语言模型在大量安全训练后,其权重空间中会形成某些特定的"拒答方向",即一小组与拒绝行为高度相关的激活模式。通过在这些方向上做正交化或削减投影,可以大幅降低模型触发拒答的概率,同时尽量保留其他能力的完整。这一过程无需重新训练,成本远低于从头微调。副作用是可能损失部分模型精度,甚至让模型在其他安全领域也变得更"健谈",因此质量表现因基础模型而异。

MoE(Mixture of Experts,混合专家) 是Qwen 3.6 35B等模型采用的架构。它把前馈层拆分为多个并行"专家"子网络,并在推理时通过门控机制只激活其中少数专家。结果是总参数量很大(如35B),但每次前向传播实际参与计算的参数只有一小部分(如3B),因而推理速度接近3B模型、能力接近更大模型。在Mac统一内存上,MoE仍然需要把全部权重加载进内存,激活参数少只影响计算量,不影响内存占用——这就是为什么35B MoE依然要求48GB级别的内存。

关键数字:统一内存

在Apple Silicon上,没有独立的显存。模型与macOS、浏览器及其他所有程序共享同一个内存池。芯片名称决定回答速度,内存大小决定你能加载哪个模型。M4配16GB和M2配16GB能加载的模型相同。

一个实用的估算规则:模型文件加上1至2GB的上下文开销,必须能装进macOS和已打开应用占用4至6GB之后剩余的空间。

统一内存(Unified Memory) 是Apple Silicon的核心架构特征:CPU、GPU和神经网络引擎共享同一块物理内存,没有独立显存这一层。这意味着两点区别于传统PC的推论。第一,模型权重在内存中只存在一份,CPU与GPU之间传递张量时无需在PCIe总线上拷贝,推理效率更高。第二,模型可用的内存上限实际等于总内存减去macOS自身和所有已打开应用占用的部分,因此16GB的Mac在浏览器、IDE都打开的情况下往往只剩8-10GB可用,而一块16GB显存的独显则几乎可以独享全部容量。这是Mac上模型选择常被低估的瓶颈来源,也是本文反复强调"内存比芯片型号更重要"的原因。

聊天模型与内存匹配

应用中目录推荐的无审查聊天模型如下,按下载大小排列:

模型大小特点
Llama 3.1 8B Abliterated5 GB通常第一个下载
Qwen3-VL 8B Abliterated5 GB可读取图像
Gemma 4 12B Heretic7.4 GB可读取图像
GLM 4.7 Flash Heretic10 GB小体积构建的30B级别
Qwen 3.8 27B Uncensored18 GB图像、工具、可切换思考
Qwen 3.6 35B MoE Abliterated24 GB总参数35B,激活3B

对照上述规则,大致对应关系为:

  • 16 GB Mac:可较轻松运行5GB模型,Gemma 4 12B Heretic则需要更少后台应用
  • 24 GB Mac:增加GLM 4.7 Flash Heretic
  • 32 GB Mac:增加Qwen 3.8 27B Uncensored,这是推荐的最低一档
  • 48 GB及以上:增加Qwen 3.6 35B MoE Abliterated,并有空间处理长上下文

这个映射仅基于文件大小的算术计算。作者只在48GB机器上运行过聊天功能,因此16GB或24GB Mac上的表现应视为起点而非定论。

设置向导会为你的机器选择第一个模型,模型管理器会标记哪些适配。你不需要自己进行这些计算,但了解其原理有助于理解应用提供的选项。

图像与视频生成

Mac上的Create功能可在本地生成图像和视频,无需ComfyUI。Mac目录中有一个名为Unfiltered的独立分组,与Mainstream并列:

  • 图像模型:目录中共23个,其中10个在Unfiltered分组
  • 视频模型:目录中共31个,其中14个在Unfiltered分组

每个模型卡片都会标明所需内存,应用会严格执行。图像模型最低8GB,视频模型最低16GB。Mac目录中大多数视频模型标记为"Experimental: not yet tested in LU",这个标签是字面意思。

速度参考:在M5 Pro配48GB上,DreamShaper XL Turbo生成一张图像耗时33秒,Qwen-Image 2.1 Turbo耗时38秒。

ComfyUI 是当前最流行的本地AI图像/视频生成工作流软件,以节点式界面著称,功能强大但配置复杂,通常需要用户自行安装PyTorch、下载Checkpoint、管理LoRA和ControlNet。Locally Uncensored把这类能力内置到应用内,省去了搭建ComfyUI的步骤,代价是模型选择被限定在应用的目录内,扩展性不如ComfyUI。Turbo 后缀(如DreamShaper XL Turbo、Qwen-Image 2.1 Turbo)通常指使用蒸馏技术压缩了采样步数的模型版本,可以在4-8步内出图,而非Turbo版本常需25-50步,因此Turbo在同样的硬件上速度快数倍,代价是细节和多样性略有下降。这就是为什么文中提到的生成时间可以控制在30-40秒量级。

安装与运行

系统要求:Apple Silicon,macOS 14或更新版本。不支持Intel Mac。

  1. 从locallyuncensored.com/mac下载.dmg文件,已使用Developer ID签名并通过Apple公证
  2. 将应用拖入Applications文件夹并启动
  3. 让设置向导选择第一个模型,或打开Models从上述列表中选择
  4. 发送消息

本地使用无需账户,无需登录。

数据发送情况

使用本地模型时,你的提示词和回答都留在机器上。应用没有分析工具包,不发送崩溃报告。有两项数据会自动发出:应用启动几秒后及之后最多每六小时向GitHub Releases查询新版本;以及每次按下Cloud开关时计数(仅方向、平台和应用版本,不含标识符)。如果从不触碰Cloud开关,第二项不会触发。

Mac上尚未具备的功能

  • 训练自己的角色LoRA无法在Mac上本地运行
  • 计算机控制功能在应用中存在,但在macOS上未完全测试
  • 语音功能本地可用,但处于beta阶段且仅支持英语
  • Remote Access和自动更新在macOS上未经确认

简要总结

Mac上的无审查AI归结为选择一个适合你统一内存的abliterated模型。16GB可运行8B级别,32GB是Qwen 3.8 27B Uncensored的适配点,应用的Unfiltered分组在同一台机器上覆盖图像和视频。全部本地运行,无需账户,但该版本仍处于beta且仅在一台Mac上验证过。

如果Mac内存不足以运行想要的模型,更大的模型也可以通过LU Cloud在浏览器中托管运行,该部分为付费服务,以上所有本地功能均免费。

#Mac本地AI#无审查模型#abliterated模型#Apple Silicon#本地大模型#统一内存#Locally Uncensored
分享:

相关推荐