ConceptDeterministic Execution
确定性执行
一种芯片执行架构范式,在编译阶段静态规划全部计算周期的数据流与运算安排,运行时无需动态调度,可显著降低控制逻辑功耗并实现可预测的低延迟
Timeline (last 90 days)
Sep 15
确定性执行指芯片在编译阶段就规划好每一个计算周期的数据流动和运算安排,运行时不再需要动态调度
Unverified50%
Sep 15
确定性执行架构使首Token延迟(TTFT)和Token间延迟(ITL)的方差极小,可对外提供类似SLA的延迟承诺
Unverified50%
Sep 15
确定性执行架构能将P99延迟压缩到接近P50的水平,这在通用GPU架构下通常难以实现
Unverified50%
Aug 31
Caddi通过结合AI推理与确定性执行来兼顾灵活性与可靠性
Unverified50%