索尼PSP运行90M参数LLM：边缘推理极限在哪里

当复古掌机遇上现代大模型

索尼PSP（PlayStation Portable）发布于2004年，搭载333MHz的MIPS R4000处理器和32MB RAM，在当年是便携游戏领域的旗舰硬件。MIPS R4000是MIPS Technologies在1991年推出的64位微处理器架构，采用精简指令集（RISC）设计——其核心理念是通过减少指令集复杂度来提高每条指令的执行效率，这与Intel x86系列的复杂指令集（CISC）形成鲜明对比。PSP实际搭载的是基于MIPS R4000架构定制的Allegrex处理器，主频可在1MHz到333MHz之间动态调节。MIPS架构在2000年代广泛用于嵌入式设备、路由器和游戏主机，但由于缺乏向量运算单元和浮点并行处理能力，它在矩阵密集型计算（如神经网络推理）方面天然处于劣势。

然而就在最近，一位开发者将一个90M参数的对话型大语言模型成功运行在这台"古董"设备上，并将项目开源发布于GitHub（LLMPSP）。这不仅是一次技术极客实验，更是对"边缘推理极限"的一次真实丈量。

这件事之所以引发广泛关注，不在于它有多实用，而在于它所揭示的一个核心问题：在资源极度受限的硬件上，语言模型推理的边界究竟在哪里？

PSP的硬件极限：90M参数是天花板

硬件规格与推理瓶颈

PSP的计算能力与现代推理硬件相差数个数量级。333MHz的单核CPU、无GPU加速、32MB主内存——这些参数放在今天连入门级嵌入式设备都算不上。开发者经过测试得出结论：90M参数模型是PSP在可接受推理速度下能承载的上限。

实测推理速度约为每秒0.5至0.6个token，生成一条完整回复需要1到3分钟。这里有必要解释一下"token"这个概念：token是大语言模型处理文本的基本单位，在GPT系列等主流模型中，一个token大致对应4个英文字符或0.5-1个中文字，但具体取决于所使用的分词器（Tokenizer）。当我们说推理速度为"每秒0.5个token"时，意味着模型每两秒才能生成一个文本片段——大约相当于半个英文单词。作为参照，GPT-4在云端的输出速度通常在每秒30-80个token，而本地运行的llama.cpp在现代消费级CPU上也能达到每秒10-30个token。

这个速度对于实时对话而言几乎不可用，但从"能跑起来"的角度看，已经是相当了不起的成就。更大的模型理论上也能加载，但推理速度会退化到无法忍受的程度。这是因为自回归语言模型的推理过程是逐token串行生成的，每一步都需要完整的前向传播计算，推理速度与模型参数量和硬件算力直接线性相关。

为什么是90M而不是更小？

90M参数并非随意选择。对于对话任务而言，参数量过低会导致模型完全丧失语言连贯性，无法生成有意义的文本。开发者测试发现，这一量级的模型仍具备基础的问答、诗歌生成、短故事写作等能力，尽管质量参差不齐——它有时能正确回答"哪家公司生产MacBook"这类知识性问题，有时又会一本正经地输出完全错误的幻觉内容。

所谓"幻觉"（Hallucination），是指语言模型以高度自信的语气生成事实上错误或完全虚构的内容。这一问题在所有规模的语言模型中普遍存在，但在小型模型中尤为严重。其根本原因在于：语言模型本质上是基于统计规律的下一个token预测器，而非知识数据库。模型的参数相当于对训练数据中统计模式的压缩存储——参数越少，能够可靠编码的知识就越少。一个90M参数的模型，其参数量仅为GPT-3（175B）的约1/2000，能够存储的世界知识极为有限。当模型遇到训练数据中覆盖不足的问题时，它会依据局部的统计关联性"编造"看似合理的答案，对于小型模型而言，几乎所有需要精确事实回忆的任务都处于"覆盖不足"的状态。

这恰恰说明了小型语言模型的本质局限：知识密度不足，泛化能力弱，对提示词的依赖程度极高。

项目技术解析：LLMPSP如何让LLM跑在PSP上

推理框架的极简化

要在PSP上运行LLM，必须彻底抛弃现代推理框架的所有"奢侈品"：无PyTorch，无CUDA，无自动微分，无动态内存管理。整个推理栈需要从底层重新构建，直接操作原始矩阵乘法和激活函数，针对MIPS架构进行手工优化。

从GitHub项目结构来看，LLMPSP采用了纯C实现的轻量推理引擎，模型权重经过量化压缩以适应有限的内存空间。这与llama.cpp等项目的设计哲学一脉相承——通过量化和算子融合将模型压缩到极致，但PSP版本的约束要严苛得多。

llama.cpp是由Georgi Gerganov发起的开源项目，其核心目标是在纯CPU环境下高效运行LLaMA系列大语言模型。它采用纯C/C++实现，不依赖Python运行时或CUDA等GPU框架，通过GGML（后演化为GGUF格式）自研张量库实现矩阵运算。其关键技术包括：多种量化格式支持（从Q2到Q8）、KV缓存优化、SIMD向量指令集加速（如x86的AVX2、ARM的NEON）以及内存映射（mmap）技术减少加载时间。这个项目的成功催生了整个本地推理生态，包括Ollama、LM Studio等用户友好的上层应用。然而，由于PSP的MIPS架构不支持现代SIMD指令集，LLMPSP的开发者需要从更底层手工优化矩阵乘法内核，工程难度远高于在x86或ARM平台上的移植。

量化压缩是关键

90M参数在FP32精度下约需360MB存储空间，远超PSP的32MB主内存。因此激进的量化是必要条件。

量化（Quantization）是将模型权重从高精度浮点数（如FP32，每个参数占4字节）转换为低精度整数（如INT8占1字节、INT4占0.5字节）的技术。这一过程本质上是用离散化的方式近似连续的权重分布。主流的量化方法包括：训练后量化（PTQ），即在模型训练完成后直接对权重进行精度压缩；以及量化感知训练（QAT），在训练过程中模拟量化误差以提高最终精度。更先进的方法如GPTQ和AWQ通过分析权重的重要性分布，对不同层或不同通道采取差异化的量化策略，尽可能保留关键信息。

INT4或更低精度的量化可以将模型体积压缩8倍以上，使其勉强能够装入内存并完成推理。在PSP的场景下，INT4量化可将360MB的FP32模型压缩至约45MB，但32MB的内存意味着可能还需要进一步压缩至INT3甚至INT2级别，或采用分块加载策略。每降低一个比特位，模型的表示精度都会显著下降，尤其是对长尾知识和复杂推理能力的损害最为明显。这种极端压缩不可避免地带来精度损失，这也解释了模型为何会在某些问题上产生明显幻觉。

Transformer架构下的计算瓶颈

当前主流大语言模型几乎全部基于Transformer架构，其核心是自注意力（Self-Attention）机制。在推理阶段，自回归模型每次生成一个token时，都需要计算当前token与所有历史token之间的注意力权重，这意味着计算复杂度随序列长度增长而增加。对于一个典型的Transformer层，主要计算瓶颈包括：QKV投影的矩阵乘法、注意力分数计算、前馈网络（FFN）的矩阵乘法。

一个90M参数的模型可能包含12-16个Transformer层，每层的隐藏维度约512-768。即便在这样相对"微型"的配置下，单次前向传播仍需要数千万次乘加运算。对于333MHz的MIPS处理器而言，完成一次前向传播需要约2秒——这正好对应了实测的0.5 token/s推理速度。这一计算量分析也清晰地揭示了为什么更大的模型在PSP上会变得完全不可用：参数量翻倍，推理时间也近似翻倍。

边缘AI推理的更深层意义

从PSP到真正的边缘部署场景

PSP实验的意义超越了它本身的娱乐性。当前边缘AI推理的主战场包括：微控制器（MCU）、物联网设备、低功耗传感器节点。这些设备的计算资源与PSP处于同一量级，甚至更为有限。

LLMPSP项目证明了一件事：在没有专用AI加速器的纯通用CPU上，亿级参数以下的语言模型是可以运行的，代价是极低的推理吞吐量。这对于不需要实时响应的场景——比如离线日志摘要、本地文档问答、低频率的设备状态分析——具有一定的参考价值。

与主流端侧推理方案的对比

相比之下，当前主流的端侧LLM推理方案已经相当成熟：

• Apple Silicon：通过Neural Engine和统一内存架构，MacBook可以流畅运行7B甚至13B参数模型
• 高通骁龙8 Gen系列：配备专用NPU，支持手机端本地运行3B-7B模型
• 树莓派5：凭借4GB/8GB RAM，可以运行1B-3B量化模型，速度在每秒数个token

这里提到的NPU（Neural Processing Unit，神经网络处理单元）是专门为矩阵乘法和张量运算设计的硬件加速器。与通用CPU不同，NPU通过大规模并行计算单元和优化的数据通路，可以将神经网络推理的能效比提升数十倍。Apple的Neural Engine每秒可执行最高38万亿次运算（38 TOPS），高通的Hexagon NPU在骁龙8 Gen 3中达到45 TOPS，而Google的Edge TPU专为低功耗边缘设备设计，仅消耗2W功率即可实现4 TOPS。作为对比，PSP的MIPS处理器理论峰值算力仅在百万次浮点运算（MFLOPS）量级，与现代NPU相差约七个数量级。

PSP的90M @ 0.5 tok/s，清晰地标出了这条光谱的最低端。它不是一个实用方案，而是一把测量硬件推理下限的标尺。这种巨大的算力鸿沟也揭示了为什么PSP只能运行90M模型而现代手机可以流畅运行7B模型——并非仅仅是参数量的差距，更是底层硬件架构从"通用计算"到"AI专用计算"的范式跃迁。

本地推理的极致诠释

原帖作者说了一句很有意思的话："Doesn't get more local than this"（没有比这更本地化的了）。这句话戳中了当前AI部署讨论中一个真实的张力点：本地推理意味着什么？

从隐私保护、离线可用、数据主权的角度看，本地运行LLM是一个有价值的方向。但"本地"并不等于"无限制"——硬件算力依然是硬约束。PSP实验以一种极端的方式展示了：即便是2004年的消费级硬件，也并非完全无法参与现代AI生态，只是代价是极低的能力上限和极慢的推理速度。

开源社区的极客精神与技术价值

这个项目本质上是一个极客探索，作者自己也坦承它"在任何实际指标上都不实用"。但开源社区对这类项目的热情从未消退，原因很简单：边界实验推动认知进步。

类似的项目还包括在任天堂DS上运行神经网络、在Arduino上跑小型Transformer等。这些实验的共同价值在于：它们迫使开发者在极端约束下思考优化问题，产生的技术洞见往往能反哺主流的轻量化推理研究。例如，在极端内存限制下开发的分块加载和流式推理技术，后来被应用于移动端推理框架的优化；在低精度量化中积累的经验，也推动了GPTQ、AWQ等主流量化算法的发展。

LLMPSP已在GitHub开源，感兴趣的开发者可以在自己的PSP设备上复现，或者借鉴其极简推理引擎的设计思路，用于其他资源受限平台的移植工作。

小结

在一台2004年的PSP上运行90M参数LLM，每秒0.5个token的速度、1至3分钟的回复延迟——这组数字精确地定义了通用CPU边缘推理的极限地带。它没有实用价值，却有清晰的认知价值：告诉我们硬件算力的边界在哪里，以及为了突破这个边界，我们需要什么样的专用加速器或更激进的模型压缩技术。

核心要点