DLA
NVIDIA在Tegra/Orin系列SoC中集成的固定功能深度学习推理加速器,围绕卷积等张量算子设计专用数据通路,可独立于GPU执行推理,能效优于通用GPU但灵活性受限。
时间轴 (近 90 天)
从架构定位看,DLA的收益主要体现在能效和GPU资源释放上,而非绝对吞吐的超越;把它当作GPU的协处理器来规划任务分配,比期待它单独承担主推理更符合设计意图。
NVIDIA Deep Learning Accelerator(DLA)是NVIDIA在Tegra/Orin系列SoC中集成的固定功能推理加速器,专门处理卷积等深度学习算子。
Jetson AGX Orin的DLA提供多个可独立配置的加速器实例,每个实例可承载一条推理流水线。
TensorRT在构建引擎时可指定DLA作为执行后端,由构建器根据层的算子类型、精度与张量形状判断能否在DLA上执行,不能执行或收益不高的层会回退到GPU。
DLA是固定功能加速器,支持的算子集合和数据类型相对受限,并非所有网络都能整体卸载,实际部署时通常需要把网络切分成DLA可执行部分与GPU兜底部分。
DLA对输入输出张量的内存排布有特定要求,常见的是NHWC或特定的分块/对齐格式,而Python侧的NumPy数组、PyTorch张量通常采用NCHW或连续行主序布局,两者不一致时需要在提交前做重排。
DLA推理通常是异步提交,需要正确同步才能读取结果,Python层的封装应明确这一时序语义,否则容易出现读到未完成结果的问题。
车载 SoC 的异构计算单元包括 CPU、GPU、NPU/DLA 以及 ISP、DSP 等专用模块,不同单元的算力、精度支持和能效差异很大,同一模型层放在不同单元上延迟可能相差数倍。
全部知识事实 (8)
从架构定位看,DLA的收益主要体现在能效和GPU资源释放上,而非绝对吞吐的超越;把它当作GPU的协处理器来规划任务分配,比期待它单独承担主推理更符合设计意图。
50%待验证NVIDIA Deep Learning Accelerator(DLA)是NVIDIA在Tegra/Orin系列SoC中集成的固定功能推理加速器,专门处理卷积等深度学习算子。
50%待验证Jetson AGX Orin的DLA提供多个可独立配置的加速器实例,每个实例可承载一条推理流水线。
50%待验证TensorRT在构建引擎时可指定DLA作为执行后端,由构建器根据层的算子类型、精度与张量形状判断能否在DLA上执行,不能执行或收益不高的层会回退到GPU。
50%待验证DLA是固定功能加速器,支持的算子集合和数据类型相对受限,并非所有网络都能整体卸载,实际部署时通常需要把网络切分成DLA可执行部分与GPU兜底部分。
50%待验证DLA对输入输出张量的内存排布有特定要求,常见的是NHWC或特定的分块/对齐格式,而Python侧的NumPy数组、PyTorch张量通常采用NCHW或连续行主序布局,两者不一致时需要在提交前做重排。
50%待验证DLA推理通常是异步提交,需要正确同步才能读取结果,Python层的封装应明确这一时序语义,否则容易出现读到未完成结果的问题。
50%待验证车载 SoC 的异构计算单元包括 CPU、GPU、NPU/DLA 以及 ISP、DSP 等专用模块,不同单元的算力、精度支持和能效差异很大,同一模型层放在不同单元上延迟可能相差数倍。
50%