NeMo Data Designer
NVIDIA推出的开源多模态合成数据生成框架,采用声明式配置格式,支持文本、代码、图像、嵌入向量等多种数据类型的生成,内置依赖解析、调度与容错机制,面向大模型训练数据构建场景。
时间轴 (近 90 天)
NVIDIA NeMo Data Designer(NDD)是一个开源、通用的多模态合成数据生成框架
NDD采用声明式配置格式,用户通过定义数据集的每一列来描述所需数据
NDD支持的列类型覆盖文本、代码、结构化输出、图像、嵌入向量以及统计采样器
NDD将预览-修订循环内建到核心工作流中,用户可先生成少量记录检视后再以完整规模重新运行
NDD在运行时会自动解析列之间的依赖关系、调度对用户自定义模型端点的调用,并对失败请求进行重试
NDD的列间依赖解析本质上是在构建有向无环图(DAG),据此推断哪些列可并行生成、哪些需等待前置列完成
NDD提供灵活的插件系统,允许通过插件引入额外的列类型和功能
NDD相关论文给出了跨场景案例研究,涵盖结构化任务、Agent式任务、多模态任务及领域专用任务
用于Nemotron模型开发的数据集以及生产级企业部署中实际使用的数据集被包含在NDD的案例中
全部知识事实 (9)
NVIDIA NeMo Data Designer(NDD)是一个开源、通用的多模态合成数据生成框架
50%待验证NDD采用声明式配置格式,用户通过定义数据集的每一列来描述所需数据
50%待验证NDD支持的列类型覆盖文本、代码、结构化输出、图像、嵌入向量以及统计采样器
50%待验证NDD将预览-修订循环内建到核心工作流中,用户可先生成少量记录检视后再以完整规模重新运行
50%待验证NDD在运行时会自动解析列之间的依赖关系、调度对用户自定义模型端点的调用,并对失败请求进行重试
50%待验证NDD的列间依赖解析本质上是在构建有向无环图(DAG),据此推断哪些列可并行生成、哪些需等待前置列完成
50%待验证NDD提供灵活的插件系统,允许通过插件引入额外的列类型和功能
50%待验证NDD相关论文给出了跨场景案例研究,涵盖结构化任务、Agent式任务、多模态任务及领域专用任务
50%待验证用于Nemotron模型开发的数据集以及生产级企业部署中实际使用的数据集被包含在NDD的案例中
50%