ARM64汇编从零实现YOLO26推理引擎：底层优化全解析

一个大胆的本科毕业设计

在深度学习框架高度成熟的今天，绝大多数开发者部署神经网络时只需调用 PyTorch、ONNX Runtime 或 TensorFlow Lite 等现成工具即可完成推理。然而，一位开发者选择了一条极其硬核的道路：完全使用 ARM64 汇编语言和 C 语言，从零实现 YOLO26n 目标检测模型的推理引擎，不依赖任何现有框架。

YOLO（You Only Look Once）是目标检测领域最具影响力的单阶段检测模型系列，其核心设计理念是将目标检测问题转化为单次前向传播的回归问题，从而实现实时检测。YOLO26 是该系列的较新迭代版本，而后缀「n」代表 Nano 变体，即参数量和计算量最小的轻量级版本，专为资源受限的边缘设备设计。典型的 YOLO 架构包含三个核心部分：Backbone（特征提取骨干网络）、Neck（特征融合模块）和 Head（检测头），YOLO26n 在这三个部分都进行了轻量化设计，使其能够在移动端和嵌入式设备上运行。

这个项目最初是他的本科毕业设计，目标非常明确——深入理解现代神经网络推理引擎在底层究竟是如何工作的，并探索在 Raspberry Pi 4 这类边缘设备上加速 AI 推理的优化技术。Raspberry Pi 4 搭载的 Broadcom BCM2711 SoC 集成了四核 ARM Cortex-A72 处理器，主频为 1.5GHz。Cortex-A72 采用 ARMv8-A 64 位架构，具有乱序执行能力，拥有每核 32KB 的 L1 数据缓存和四核共享的 1MB L2 缓存，内存带宽约为 4GB/s（LPDDR4）。对于神经网络推理这类计算密集型任务，这些硬件参数构成了性能优化的物理上限。相比调用黑盒 API，从汇编层面手写推理管线，能够真正触碰到计算密集型任务的每一个字节。

reddit source: YOLO26n ARM64 Assembly 实现

从零构建的完整技术栈

核心算子的汇编级实现

这个项目并非简单的 demo，而是复现了 YOLO26 架构中几乎所有核心组件，包括：

Conv（卷积层）
C3K2（CSP 结构变体）：C3K2 源自 Cross Stage Partial（CSP）网络结构，其核心思想是将特征图在通道维度上分成两部分，一部分经过密集的卷积块处理，另一部分直接通过跳跃连接传递，最后将两部分拼接融合。这种设计减少了重复的梯度信息，通常可降低 20-50% 的计算量，同时保持模型的表达能力。
SPPF（空间金字塔池化快速版）：SPPF 是 SPP 模块的高效改进版本，通过用多个串联的小池化核（如三次连续的 5×5 最大池化）替代并行的大池化核，在数学上等效但计算效率更高，负责增强模型对不同尺度目标的感知能力。
C2PSA / PSA（带注意力机制的模块）：PSA（Polarized Self-Attention）是一种专为密集预测任务设计的注意力机制，在通道注意力和空间注意力两个维度上分别建模，将计算复杂度从标准 Self-Attention 的 O(N²) 降低到接近 O(N)。
BottleNeck（瓶颈残差结构）
Detect（检测头）

有意思的是，作者还实现了注意力机制（Attention），这在纯汇编环境下手写并保证数值正确性，难度相当高。这意味着他不仅要理解卷积的滑窗计算，还要手动实现 softmax 函数（涉及指数运算、求和归一化）、矩阵乘法（Q×Kᵀ 和 Attention×V）以及残差连接等一系列复杂运算的底层细节，每一步都需要精确的浮点数值管理，稍有偏差就会导致输出结果的累积误差放大。

面向性能的ARM底层优化策略

为了榨取 Raspberry Pi 4 上 ARM Cortex-A72 处理器的性能，作者引入了一系列业界推理引擎常用的优化手段：

ARM NEON SIMD 优化：ARM NEON 是 ARMv8 架构中的 SIMD（Single Instruction, Multiple Data）扩展指令集，提供 32 个 128 位宽的向量寄存器（V0-V31），每个寄存器可同时容纳 4 个 32 位浮点数。关键指令如 FMLA（融合乘加）能在单条指令中完成 a = a + b × c 的计算，既减少指令数量又避免中间舍入误差，是实现高效卷积内核的核心。
Winograd 卷积加速：该算法源自 Shmuel Winograd 的最小乘法理论，核心思想是通过增加加法运算来减少乘法运算的次数。以最常用的 F(2,3) 变换为例，直接计算 3×3 卷积需要 36 次乘法，而 Winograd 变换后仅需 16 次乘法，理论加速比达到 2.25 倍。代价是需要额外的变换矩阵对输入和卷积核进行预变换，并且变换过程中的加法会放大浮点舍入误差。
优化的 GEMM 内核：卷积运算通常通过 im2col + GEMM 范式实现——将输入特征图中每个卷积窗口覆盖的数据重排为矩阵的一列，将卷积核权重展开为矩阵的行，从而将卷积转化为通用矩阵乘法（GEMM）。GEMM 内核的效率直接决定整体推理性能，工业级实现通常采用分块策略和精心安排的循环顺序来最大化数据复用。
缓存感知的分块（Cache-aware Tiling）：现代处理器的 L1 缓存访问延迟约为 1-4 个时钟周期，而主存访问延迟高达 100-300 个周期。分块策略将矩阵切分为恰好填满特定缓存层级的微块，确保频繁访问的数据始终驻留在速度更快的缓存中。对于 Cortex-A72 的 32KB L1 数据缓存，合理的微内核尺寸通常为 8×8 或 4×12 的浮点输出块。
自定义 ARM64 微内核（Micro-kernels）：针对特定计算模式手写汇编指令，最大化寄存器利用率
算子融合（Operator Fusion）：将 Conv+BN+ReLU 等连续算子合并执行。在未融合的情况下，三个独立算子的中间结果需要两次写入和两次读取全局内存；融合后，卷积输出在寄存器中直接完成 BN 的缩放偏移和 ReLU 的阈值截断，只需一次内存写入。值得注意的是，BatchNorm 在推理阶段还可以进一步通过数学等价被折叠到卷积层的权重和偏置中（BN folding），连融合的计算开销都可以省去。对于内存带宽受限的边缘设备，算子融合带来的性能收益可达 2-3 倍。

定制化的内存布局设计

除了计算层面的优化，作者还对模型参数做了深度改造。他从 YOLO26n 模型中提取出全部权重参数，并重新设计内存布局，转换为专为该推理管线优化的自定义二进制格式。

这一步往往被外行忽视，但却是推理性能优化的关键环节。神经网络的权重如何在内存中排列，直接影响数据加载时的缓存命中率和 SIMD 指令的向量化效率。一个精心设计的内存布局，能让 NEON 指令连续读取对齐数据，避免因跨缓存行访问带来的性能损失。这也解释了为什么工业级推理引擎（如 TensorRT、ncnn）都会对权重进行重排（reorder/packing）处理。

正确但未达预期的推理性能

项目最终能够产出正确的目标检测结果，这本身已经是一项了不起的工程成就——在纯汇编环境下保证数值精度和每个算子的逻辑完全正确并不容易。

然而，作者坦诚地承认：实际的性能提升低于最初的预期。这是一个非常真实且值得深思的结论。

手写汇编为什么不一定比框架快？

现代深度学习框架背后凝聚了大量顶尖工程师多年的调优心血。像 OpenBLAS、oneDNN、XNNPACK 这类底层计算库，其 GEMM 内核已经针对各种缓存层级、指令流水线、寄存器分配做到了近乎极致的优化。OpenBLAS 是开源的 BLAS 实现，针对数十种 CPU 微架构提供手写汇编的 GEMM 内核；oneDNN 是 Intel 维护的深度学习计算库，对 x86 架构做了极致优化；XNNPACK 是 Google 维护的面向移动和边缘设备的推理库，专门针对 ARM NEON 优化。这些库中的 GEMM 内核经过了数年甚至数十年的迭代，包括指令级流水线调度、TLB（Translation Lookaside Buffer）友好的数据访问模式、以及针对特定微架构的指令延迟隐藏策略。个人在有限时间内手写的汇编代码，很难在所有维度上超越这些经过反复迭代的成熟方案。

此外，Raspberry Pi 4 的内存带宽相对有限（约 4GB/s），对于内存密集型的神经网络推理而言，很多时候瓶颈并不在计算指令本身，而在于数据搬运。即使计算内核再快，如果内存预取策略或数据布局不够理想，整体推理速度依然会受限于带宽。

项目的核心价值与启示

尽管性能未达预期，但从教育意义和技术探索的角度看，这个项目的价值远超其绝对性能数字：

打破框架黑盒认知：绝大多数 AI 从业者从未接触过推理引擎的底层实现。这个项目完整走通了从模型参数提取、权重内存重排到汇编计算内核编写的全流程。
系统级优化的完整实践：Winograd 卷积、GEMM 分块、算子融合、NEON 向量化——这些都是工业级推理引擎的核心优化技术，能亲手实现一遍是理解底层原理的最佳路径。
诚实的工程态度：作者没有夸大项目成果，而是主动寻求关于 CNN 推理优化、NEON 向量化、内存与缓存优化等方面的社区反馈，这种开放心态值得赞赏。

进一步优化的可能方向

对于想在这类边缘 AI 推理项目上继续深入的开发者，以下几个方向可能带来显著的性能提升：

数据预取（Prefetch）指令：合理使用 PRFM 指令提前将数据加载到缓存，隐藏内存访问延迟。考虑到主存访问延迟可达数百个时钟周期，在计算当前数据块的同时预取下一块数据，可以将内存延迟与计算时间重叠，显著提升有效吞吐。
NEON 寄存器复用率优化：进一步压榨 32 个 128 位 NEON 寄存器的利用率，减少寄存器溢出（spill）到栈内存的情况
Cortex-A72 双发射流水线调度：Cortex-A72 的执行单元支持每周期派发多条微操作，通过精心安排不同类型指令（如交替排列 NEON 计算指令和内存加载指令）的顺序，可以让多个执行单元并行工作，提高每周期指令执行数（IPC）
更激进的算子融合策略：将更多连续操作合并为单一内核，减少内存带宽压力
INT8 量化推理：将神经网络中原本以 FP32 表示的权重和激活值映射到 INT8 范围内进行计算。在 ARM NEON 上，单条指令可同时处理 16 个 INT8 数据（FP32 仅 4 个），吞吐量提升 4 倍；权重和激活值的内存占用减少 75%，显著缓解内存带宽瓶颈。ARMv8.2-A 架构还引入了专用的 SDOT/UDOT 点积指令，可以在单条指令中完成 4 对 INT8 数据的乘累加运算。实践中，INT8 量化在目标检测任务上通常只带来不到 1% 的精度损失，性价比极高。

项目代码已开源在 GitHub（github.com/mohammad-ghaderi/YOLO26），对于想深入理解边缘 AI 推理底层机制的开发者来说，是一份难得的学习资料。它提醒我们：在框架高度抽象的时代，愿意深入底层、理解计算本质的探索精神，依然弥足珍贵。