概念
动态形状编译
深度学习编译器中处理动态张量形状的编译技术,通过形状特化或符号化推导生成可处理变长输入的kernel
时间轴 (近 90 天)
11月4日
动态形状编译可将累计的形状切换成本降低约70%,代价是稳态性能略有下降。
待验证50%
11月4日
动态形状编译的核心挑战在于编译器无法在编译期确定张量的具体维度,因而难以进行依赖静态尺寸的优化,如循环展开、内存预分配和基于固定tile的调度。
待验证50%
11月4日
动态形状编译累计形状切换成本降低约70%的收益,是通过减少重编译次数实现的;而稳态性能的轻微下降,源于通用kernel无法充分利用静态尺寸带来的优化空间。
待验证50%