产品Hugging Face Buckets
HF Buckets
Hugging Face 提供的云存储服务,结合Xet增量上传技术,支持大型数据集的高效存储与管理,通过CLI命令进行文件操作
时间轴 (近 90 天)
10月7日
Hugging Face Buckets 兼容 Amazon S3 协议,任何支持 S3 API 的工具都能向 Bucket 读写,但只有 HF 工具链写入时才能实现增量去重上传
待验证50%
10月7日
Buckets 中的 copy 和 sync 命令会直接覆盖已有内容,数据定型后应复制进 dataset repo 以保留版本历史
待验证50%
10月7日
演示使用约 150 万行、191MB 的纽约市出租车行程 CSV 数据,首次上传完整传输,追加 100 行后仅上传新增部分
待验证50%