概念
num_workers
PyTorch DataLoader 的参数，决定用于并行读取和预处理数据的子进程数量，影响数据加载吞吐
时间轴 (近 90 天)
10月14日
该案例中 H100 训练的真正瓶颈是数据管道中的非 GPU 开销，包括数据集反复从 S3 下载、基础模型未缓存、预处理单线程且 num_workers 过低。
待验证50%
10月14日
修复非计算开销（配置持久化存储、数据迁移到本地 NVMe、缓存基础模型与分词器、提高 num_workers）后，单次运行时间从 9.5 小时降至 2 小时 40 分，相比 RTX 4070 的 11 小时接近 4 倍加速。
待验证50%
10月14日
在 PyTorch DataLoader 中，num_workers 决定用多少个独立子进程并行读取与预处理数据，低值会导致数据准备无法与 GPU 计算重叠。
待验证50%
10月14日
采用 QLoRA 时 GPU 计算密度相对较低，数据管道短板更容易暴露，使得 num_workers、缓存与预处理并行度对端到端耗时的影响被进一步放大。
待验证50%
全部知识事实 (4)
待验证
该案例中 H100 训练的真正瓶颈是数据管道中的非 GPU 开销，包括数据集反复从 S3 下载、基础模型未缓存、预处理单线程且 num_workers 过低。
50%待验证修复非计算开销（配置持久化存储、数据迁移到本地 NVMe、缓存基础模型与分词器、提高 num_workers）后，单次运行时间从 9.5 小时降至 2 小时 40 分，相比 RTX 4070 的 11 小时接近 4 倍加速。
50%待验证在 PyTorch DataLoader 中，num_workers 决定用多少个独立子进程并行读取与预处理数据，低值会导致数据准备无法与 GPU 计算重叠。
50%待验证采用 QLoRA 时 GPU 计算密度相对较低，数据管道短板更容易暴露，使得 num_workers、缓存与预处理并行度对端到端耗时的影响被进一步放大。
50%