[控场AI]
· 4 分钟阅读· 2,314 字

Inkling 2 Mini 登陆 Ollama:5.4B 模型如何实现深度推理

Inkling 2 Mini 登陆 Ollama:5.4B 模型如何实现深度推理

Inkling 2 Mini 通过中间层三次循环实现小参数深推理,现已登陆 Ollama 本地运行。

ThinkyMachines 的 Inkling 2 Mini 已登陆 Ollama,需升级至 0.40.17 预发布版使用。其核心设计是每个 token 三次循环通过中间层,以「循环深度」在仅 5.4B 激活参数下换取更强推理能力,兼顾本地部署的内存可控性。官方定位场景包括编程、computer use 等智能体工作流、视觉设计任务与金融应用,并以实时决策游玩 2048 的演示展示交互能力。接入方式为两条命令,32GB 以上内存 Mac 即可本地运行。文章也指出循环带来的额外计算开销可能推高单 token 延迟,复杂智能体任务的实际表现仍待社区实测。

ThinkyMachines 推出的 Inkling 2 Mini 现已登陆 Ollama。据官方推文,用户需将 Ollama 升级至 0.40.17 预发布版本才能体验。这款模型主打「小体积、深推理」,在 32GB 内存的 Mac 上即可本地运行,官方演示中它甚至能实时决策游玩 2048 游戏。

Inkling 2 Mini 登陆 Ollama

核心设计:重复走中间层,用循环换深度

Inkling 2 Mini 最引人注目的设计,是每个 token 会三次循环通过其中间层。这种「循环深度」策略让模型在推理时反复咀嚼同一批中间表示,从而在仅 5.4B 激活参数的前提下获得更深层的推理能力。

传统做法往往靠堆参数换取能力,而 Inkling 2 Mini 的选择更像是在有限算力预算内,用计算步骤的重复来弥补参数规模的不足。对于本地部署场景,这意味着内存占用可控,同时保留了处理复杂任务所需的推理纵深。

激活参数指的是模型在一次前向推理中实际参与计算的参数量,而非模型权重总数。对于混合专家(MoE)架构来说,总参数量可能远大于激活参数量:每个 token 只路由到部分专家网络,因此只有被选中的专家参与运算。激活参数直接决定了单次推理的浮点运算量(FLOPs)和显存/内存带宽压力,是衡量推理成本的关键指标。5.4B 激活参数意味着每次计算涉及的权重规模约为 54 亿,这与 7B 级别稠密模型的计算开销相当,但若其总参数量更大,则模型容量仍然可观。理解这一区分有助于判断「小体积」究竟指存储占用、显存峰值还是单 token 计算量——三者并不等价。

循环深度(recurrent depth) 是一种让模型在推理阶段重复使用同一组层(通常是中间层)多次的计算策略,思想可追溯至 Universal Transformer 等工作。与标准 Transformer 每层只执行一次不同,循环深度模型对同一批隐藏状态迭代应用相同的权重,从而在不增加参数量的情况下增加等效计算深度。这相当于用「时间换空间」:参数量固定,但串行的计算步数增加。其代价是每个 token 的延迟随循环次数线性增长,且训练时需要处理展开后的计算图(可用截断反向传播控制显存)。这种设计常见于需要多步推理、算法式任务或迭代精炼的场景。

面向真实任务:编程、智能体与视觉推理

官方将 Inkling 2 Mini 的适用场景归纳为几类:编程、智能体工作流(如 computer use)、带强视觉推理的设计任务,以及金融场景。这些任务的共同点是需要多步判断和上下文理解,恰好对应模型「循环推理」的设计取向。

尤其说个细节 computer use 这类智能体场景——模型需要在动态界面中做出实时决策。推文中的 2048 演示正是这一能力的直观展示:模型不是一次性输出答案,而是在每一步操作中持续判断方向,最终完成游戏。

computer use 指让模型直接操作计算机图形界面的一类智能体能力:模型接收屏幕截图或可访问性树,输出鼠标点击、键盘输入、滚动等动作,从而在真实软件中完成任务。与调用 API 不同,computer use 要求模型具备视觉理解、界面元素定位、状态跟踪和错误恢复能力,且每一步动作都会改变环境,形成闭环决策。这类任务对延迟敏感,也对模型的规划稳定性要求很高——一次误点可能导致状态不可逆。正因如此,评测 computer use 通常采用多步任务成功率而非单步准确率。它也是「智能体工作流」中最贴近真实使用、同时最考验推理纵深的方向之一。

本地运行:一行命令与 Pi 集成

接入 Ollama 后,Inkling 2 Mini 的调用方式非常直接。官方给出两条命令:

  • ollama run inkling-2-mini:在 Ollama 中完全本地运行模型。
  • ollama launch pi --model inkling-2-mini:在 Pi 环境中加载该模型。

硬件门槛方面,官方明确表示 32GB 以上内存的 Mac 即可运行,这让不少个人开发者和小型团队无需云端 GPU 也能试验推理型模型。需要注意的是,当前版本仍需预发布版 Ollama 支持,正式版用户可能需要等待后续更新。

Ollama 是一个开源的本地大模型运行与分发工具,通过统一的命令行接口拉取模型权重、管理量化版本并在本地 CPU/GPU 上推理。它内置了针对不同硬件的后端(如 macOS 上的 Metal),并对模型做了量化打包,使用户无需手写推理代码即可运行。由于 Ollama 的模型库版本与运行时版本存在兼容约束,新架构模型往往需要较新的运行时支持,这也是本文提到必须升级到 0.40.17 预发布版的原因。预发布版意味着接口和格式仍可能变动,生产环境使用需谨慎评估。

小模型深推理的路线意义

Inkling 2 Mini 的发布折射出一个趋势:模型厂商开始在「参数效率」上做文章,而非单纯比拼规模。通过中间层循环换取推理深度,5.4B 激活参数的模型得以覆盖编程、智能体、视觉与金融等偏重逻辑的任务。

当然,「循环三次」带来的额外计算开销也意味着单 token 延迟可能上升,这对实时交互场景是一个需要权衡的点。2048 演示证明了可行性,但更复杂的智能体任务表现如何,仍有待社区实测。对本地部署爱好者而言,这款模型提供了一个值得尝试的新选项。

分享:

相关推荐