零基础入门ArcLM：不装PyTorch也能跑通微型语言模型

为什么从微型语言模型开始

下载一个动辄几十GB的预训练大模型，对硬件和网络都是考验。其实，理解语言模型的工作原理，并不需要一开始就面对庞然大物。ArcLM 是一个 Python 框架，专注于语言模型工具链。它的 2.0 版本将轻量工具与重度计算功能分离，核心包不强制依赖 PyTorch，这意味着你可以在普通笔记本上先跑通文本分词、配置管理和前向传播的完整流程。

这篇教程会带你走完从安装到模型输出的每一步。完成后你将掌握：不安装 PyTorch 使用 ArcLM 核心功能、把文本转成 Token ID、保存与加载模型配置、运行一个微型因果语言模型，以及用 CLI 检查环境状态。整个过程的准备工作只有 Python 3.12、一个终端和基础 Python 知识，前三个步骤完全不需要 GPU。

安装ArcLM：核心包不需要PyTorch

先创建并激活虚拟环境，这是保持依赖干净的好习惯：

python -m venv .venv
# Windows
.venv\Scripts\activate
# macOS/Linux
source .venv/bin/activate

然后安装核心包：

python -m pip install arclm

核心安装会自动引入 NumPy、SentencePiece 等依赖，但不会拉取 PyTorch。验证安装是否成功：

import arclm
print(arclm.get_version())

教程使用的版本输出为 2.0.0。这里的关键设计思路是：你可以先探索框架的接口和工具，把计算运行时的安装推迟到真正需要执行神经网络的时候。据 ArcLM 官方 GitHub 仓库和该教程的描述，这种分层架构是 2.0 版本的核心改进。

文本分词：从句子到Token ID

语言模型无法直接处理自然文本，它需要数值化的输入。分词器负责把文本切分成 Token，再把每个 Token 映射为整数 ID。ArcLM 内置了一个简单的词级分词器，方便观察整个过程：

from arclm.tokenizers import Tokenizer

text = "arc lm trains tiny models on local text about language models"

tokenizer = Tokenizer(max_vocab=64)
tokenizer.build(text)

ids = tokenizer.encode_text("arc lm trains")

print("Token IDs:", ids)
print("Vocabulary size:", tokenizer.get_vocab_size())
print("Decoded tokens:", tokenizer.decode(ids))

在 ArcLM 2.0.0 上的实测输出为：

Token IDs: [2, 3, 4]
Vocabulary size: 11
Decoded tokens: ['arc', 'lm', 'trains']

流程拆解一下：Tokenizer(max_vocab=64) 声明最大词表容量为 64；build(text) 根据文本构建词表；encode_text() 把词转成整数 ID；decode() 再把 ID 还原为 Token。需要注意的是，这个分词器不会自动小写化，所以 "Arc" 和 "arc" 会被视为不同 Token，超出词表的词会映射到未知 Token。如果需要更灵活的子词切分，ArcLM 也提供了 SentencePiece 支持。

词级分词与子词分词的区别值得提前了解。词级分词器（word-level tokenizer）把每个完整单词当作一个 Token，实现简单、ID 直观，但遇到未登录词只能回退到未知 Token，且无法处理拼写变体或未见过的新词。子词分词（subword tokenization）则把单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。子词方案能在词表规模可控的前提下覆盖几乎任意文本，代价是同一个词可能被切成不同的 Token 序列，可解释性略低。ArcLM 同时提供两种：教程优先演示词级分词器是为了让 Token ID 与单词一一对应，便于观察；实际训练中通常改用 SentencePiece 以提升泛化能力。

配置模型：定义参数而不执行计算

ArcLM 把配置和执行分开，这是一种实用的设计。你可以在不安装 PyTorch 的情况下定义模型设置：

from arclm.configs import Config

config = Config(
    embed_dim=32,
    block_size=16,
    num_epochs=3,
    device="cpu",
)

print(config.embed_dim)
print(config.block_size)
print(config.device)

输出为 32、16、cpu。这几个参数分别控制嵌入维度、序列长度、训练轮数和执行设备。配置也可以保存为 YAML，方便与代码分离管理：

from arclm.configs import save_config_yaml, load_config_yaml

save_config_yaml(config, "arclm-config.yaml")
loaded_config = load_config_yaml("arclm-config.yaml")
print(loaded_config.embed_dim)  # 32

实验配置独立于应用代码，这在反复调整超参数时非常省事。

运行微型模型：观察前向传播

执行神经网络需要 PyTorch。安装带训练扩展的 ArcLM：

python -m pip install "arclm[train]"

如果你需要 CPU-only 的 PyTorch，可以参考官方安装选择器给出的命令。然后创建 model_demo.py：

import torch
from arclm.tokenizers import Tokenizer
from arclm.models import ArcLM

text = "arc lm trains tiny models on local text about language models"

tokenizer = Tokenizer(max_vocab=64)
tokenizer.build(text)

model = ArcLM(
    vocab_size=tokenizer.get_vocab_size(),
    embed_dim=16,
    block_size=8,
    num_blocks=1,
)

ids = tokenizer.encode_text("arc lm trains")[:8]
input_ids = torch.tensor([ids], dtype=torch.long)

logits = model(input_ids)

print("Logits shape:", tuple(logits.shape))
print("Parameters:", model.get_num_parameters())

运行 python model_demo.py，CPU 上的输出为：

Logits shape: (1, 3, 11)
Parameters: 3531

理解输出形状与参数含义

输入张量的形状是 (1, 3)，分别代表 batch size 为 1、序列长度为 3。输出 logits 的形状是 (1, 3, 11)，其中 11 是词表大小。这意味着序列中每个位置都有一个覆盖整个词表的分数向量，这些分数就是 logits。它们本身不是概率，需要经过解码策略处理后才能选择下一个 Token。

模型只有 3531 个参数，显然这是一个教学示例，完全无法替代预训练大模型。但整条处理路径已经跑通了：文本 → Token ID → 神经网络 → Logits。你刚刚在不下载任何预训练对话模型的情况下，执行了一个原生的因果语言模型前向传播。

因果语言模型（Causal Language Model）指的是在预测序列中第 t 个位置的 Token 时，模型只能看到位置 1 到 t 的输入，而不能看到未来的 Token。这一约束通常通过因果掩码（causal mask）实现，掩码把注意力矩阵中位于对角线右上方的分数置为负无穷，经过 softmax 后这些位置的权重就约等于 0。GPT 系列、LLaMA 等自回归生成模型都属于这一类。与它相对的是双向模型（如 BERT），后者在编码时会同时利用左右两侧的上下文，因此更适合分类、抽取等理解类任务，而不适合直接做逐词生成。本教程中的 ArcLM 就是一个最小的因果语言模型实现，所以给定长度为 3 的输入，它返回的也是 3 个位置各自的下一 Token 分数向量。

Logits 是神经网络最后一层线性变换输出的未归一化分数，取值范围是全体实数，可正可负。要把它变成概率分布，需要经过 softmax：对每个位置的 11 个分数取指数后除以总和，得到的向量非负且加起来等于 1。不过在训练时通常不会显式做这一步，因为交叉熵损失函数内部已经包含了 log-softmax，直接喂入原始 logits 数值更稳定。推理时则会在 softmax 之上再叠加解码策略，例如贪心取最大、温度采样、top-k 或 top-p 截断，这些策略决定最终选哪个 Token。本教程只打印 logits 形状，正是为了让读者先看清"神经网络输出的是分数而非概率"这一关键事实。

CLI诊断：快速检查环境

ArcLM 提供了命令行接口。查看可用命令：

arclm --help
# 或者
python -m arclm --help

运行时诊断可以执行：

arclm doctor

doctor 命令的设计目标是在不依赖 PyTorch 的情况下检查环境状态，这在添加训练依赖之前验证核心安装非常实用。CLI 还包含配置、数据、运行检查、缓存、安全和模型工作流等命令，但训练、评估、生成和对话相关命令需要对应的可选依赖。入门阶段，--help 和 doctor 已经够用了。

常见问题排查

PyTorch 缺失：如果导入模型相关模块时抛出 OptionalDependencyError，安装训练扩展 python -m pip install "arclm[train]" 即可。

分词器返回未知 Token：说明词表里没有这些词。用更有代表性的文本构建词表、统一文本规范化方式，或者改用子词分词。

模型拒绝输入序列：检查 block_size 配置，序列长度必须与模型的上下文长度配置兼容。

arclm 命令不可用：确认虚拟环境已激活且 ArcLM 安装在里面，也可以改用 python -m arclm --help。

下一步方向

这篇教程的定位很清晰：展示分词和前向传播的机制，而不是教你构建可用的对话模型。运行随机初始化模型和使用预训练大模型之间有本质区别。理解了这个区别，下一步就可以加载预训练模型，探索文本生成功能。ArcLM 的源码和更多示例可以在其 GitHub 仓库中找到。