Dragonfly
基于P2P技术的开源文件分发系统,支持OCI容器镜像、AI模型及通用文件的大规模分发加速,已从CNCF孵化毕业,广泛用于大规模集群场景
时间轴 (近 90 天)
Dragonfly 是一个基于 P2P 技术的文件分发系统,可加速 OCI 镜像、AI 模型等多种内容的分发
Dragonfly 项目已于去年从 CNCF 毕业,标志项目达到生产成熟可用阶段
Dragonfly 的社区贡献者来自蚂蚁集团、阿里云、字节等多家公司
Dragonfly 架构包含 Manager、调度器、Seed Peer 和 Peer 等组件,Manager 类似 K8s 的 API Server,调度器以 piece 为调度粒度
Dragonfly 的 piece 是调度的最小粒度,默认大小通常在 4MB 左右
Dragonfly 2.5 版本的 dfget 命令支持从 Hugging Face 和 ModelScope 直接下载模型
Dragonfly 2.5 的 Blocklist 功能可拦截占用带宽的任务,GRPC 调用返回 permission denied,HTTP 调用返回 403 Forbidden
Dragonfly 2.5 新增 Adaptive Rate Limit 自适应限流,可基于内存、CPU 等资源配置自动调整限流值
Dragonfly 2.5 新增 dfcontrol 工具,类似 kubectl,可 list 节点 task、删除本地 cache、预热文件或镜像到集群
Dragonfly 将 AI 模型权重和配置 bundle 成 OCI 镜像进行分发,每个 safetensors 文件打成单独一层,可用 ModelKit 工具生成 OCI 镜像
还有 1 条时间轴事件
全部知识事实 (11)
Dragonfly 是一个基于 P2P 技术的文件分发系统,可加速 OCI 镜像、AI 模型等多种内容的分发
50%待验证Dragonfly 项目已于去年从 CNCF 毕业,标志项目达到生产成熟可用阶段
50%待验证Dragonfly 的社区贡献者来自蚂蚁集团、阿里云、字节等多家公司
50%待验证Dragonfly 架构包含 Manager、调度器、Seed Peer 和 Peer 等组件,Manager 类似 K8s 的 API Server,调度器以 piece 为调度粒度
50%待验证Dragonfly 的 piece 是调度的最小粒度,默认大小通常在 4MB 左右
50%待验证Dragonfly 将 AI 模型权重和配置 bundle 成 OCI 镜像进行分发,每个 safetensors 文件打成单独一层,可用 ModelKit 工具生成 OCI 镜像
50%待验证Dragonfly 为无法升级到最新 K8s 版本的老集群提供 Model CSI Driver 方案
50%待验证Dragonfly 2.5 新增 Adaptive Rate Limit 自适应限流,可基于内存、CPU 等资源配置自动调整限流值
50%待验证Dragonfly 2.5 新增 dfcontrol 工具,类似 kubectl,可 list 节点 task、删除本地 cache、预热文件或镜像到集群
50%待验证Dragonfly 2.5 版本的 dfget 命令支持从 Hugging Face 和 ModelScope 直接下载模型
50%待验证Dragonfly 2.5 的 Blocklist 功能可拦截占用带宽的任务,GRPC 调用返回 permission denied,HTTP 调用返回 403 Forbidden
50%