待验证50% 置信事实精确时间

序列并行将LayerNorm、Dropout等算子的输入沿序列维度切分，使激活值显存随并行度线性降低

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

DeepSpeed不止ZeRO：张量、序列与专家并行的易用化演进

涉及实体

序列并行concept

相关事实

待验证基于序列号的槽位机制中，环形缓冲区每个槽位携带独立序列号，将全局头尾指针写争用分散至各槽位，减少缓存行冲突69% 相似待验证对于边权为小整数的图，Dial's Algorithm（桶排序思路）可将复杂度降至 O(m + C)，C为最大边权66% 相似待验证当矩阵数据的行间无顺序关系（调换行位置不影响分类结果）时，该数据本质上是集合（Set）而非序列（Sequence）65% 相似待验证倒排乘积量化（IVFPQ）在PQ基础上引入倒排索引结构，通过聚类将向量库分区，将检索复杂度从线性降低至亚线性64% 相似待验证格是由一组线性无关的基向量通过整数线性组合所张成的离散点集合63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/982626

API

curl https://kongchang.com/api/v1/knowledge/claims/982626

MCP

get_claim(id=982626)