Kaggle内核重启丢数据?3.5小时特征工程白费后的避坑指南

Kaggle 的 /kaggle/working 是临时存储,内核重启即丢失,需主动持久化数据。
一位首次使用 Kaggle 的开发者花费 3.5 小时完成特征提取,数据保存在 /kaggle/working 目录下。离开半小时后内核因不活动超时自动重启,所有中间数据被清空。他误以为 Save 按钮会备份数据,但实际上它只保存 notebook 代码。文章解释 Kaggle Notebook 运行在临时容器中,内核停止后 /kaggle/working 和 /kaggle/temp 的内容都会被重置。为防止数据丢失,文章提出四个策略:将中间结果上传为 Kaggle Dataset、定期 Save Version 并勾选输出文件、使用外部云存储、拆分任务实现断点续传。社区经验还建议长时间预处理应在本地或专用服务器完成,并提前阅读内核生命周期文档。
一次昂贵的教训:Kaggle 的 /kaggle/working 不是保险箱
一位首次使用 Kaggle 的开发者最近在 Reddit 上分享了自己的惨痛经历:他花费了 3.5 小时连续工作完成特征提取,数据保存在 /kaggle/working 目录下。仅仅离开了半小时,内核因不活动而自动重启,所有中间数据被清空。他以为保存选项会自动备份数据,但实际上,Kaggle 的“Save”按钮只保存 notebook 代码,不保存运行时生成的文件。

这个问题并非个例。许多新手都默认“工作目录”是持久的,但 Kaggle 的交互式 notebook 环境本质上是一个临时容器。内核一旦重启(无论是超时、手动重启还是资源限制),/kaggle/working 和 /kaggle/temp 下的内容都会被重置。理解这一点,是避免重复劳动的第一步。
为什么数据会消失?Kaggle 内核的生命周期
临时容器与持久化存储的区别
Kaggle Notebook 运行在临时容器中。你写入 /kaggle/working 的文件只存在于当前内核会话里。当内核停止(不活动超时、崩溃或主动重启),容器被销毁,这些文件随之丢失。只有 notebook 的代码单元和输出(如果手动保存版本)会被保留。
容器(Container) 是一种轻量级的虚拟化技术,它将应用程序及其依赖环境打包在一起运行,与宿主机和其他容器隔离。Kaggle Notebook 的每个内核会话都运行在一个独立的容器实例中,这个容器在会话开始时创建、结束时销毁。容器内的文件系统通常是临时性的(ephemeral),除非显式挂载了持久化卷(persistent volume),否则写入的数据不会保留到容器生命周期之外。这与传统虚拟机不同——虚拟机的磁盘可以持久保留,而容器的设计哲学是“无状态”和“可替换”。理解这一底层机制有助于明白:/kaggle/working 本质上只是容器内一个普通目录,没有任何特殊持久化保证。
不活动超时机制
Kaggle 对交互式 notebook 设有不活动超时限制。虽然官方没有在界面明确警告,但离开一段时间后内核会自动关闭。原始帖子中半小时的休息就触发了这一机制,导致数小时的特征提取成果瞬间蒸发。
不活动超时(Idle Timeout) 是云平台和交互式计算环境中常见的资源管理策略。当系统检测到用户在一段时间内没有与内核进行交互(例如没有执行新的代码单元、没有输入操作),就会判定该会话为“空闲”并自动终止,以释放 CPU、内存和 GPU 等计算资源给其他用户。Kaggle 的具体超时阈值并未在界面显著提示,但社区经验表明交互式会话的空闲限制通常在 20 到 30 分钟量级。值得注意的是,超时判定的是“用户交互”而非“代码是否在运行”——即使后台有长时间运行的进程,只要没有新的交互操作,内核仍可能被回收。这一机制与 Google Colab 的 idle timeout 类似,是免费算力平台控制成本的通用手段。
如何防止数据丢失?四个实用策略
1. 使用 Kaggle 数据集上传中间结果
最直接的方法是将中间数据保存为 Kaggle Dataset。在 notebook 中完成特征提取后,把输出文件写入 /kaggle/working,然后通过 Kaggle API 或界面将整个目录发布为新数据集。下次会话时,直接挂载该数据集即可恢复数据。
这种方法的好处是数据持久化在云端,不受内核重启影响。缺点是上传和下载需要时间,且数据集版本管理需要额外注意。
2. 定期“Save Version”并勾选输出文件
Kaggle 的“Save Version”功能可以保存 notebook 代码和输出。在保存时,确保勾选“Save output files”选项(如果可用),这样 /kaggle/working 下的文件会作为版本输出的一部分被保留。后续可以通过“Output”标签页下载或挂载这些文件。
不过,这一操作并非自动,需要养成手动保存版本的习惯。对于长时间运行的任务,建议每隔一段时间保存一次。
3. 利用外部存储:Google Drive 或云存储
在 notebook 中挂载 Google Drive(通过 google.colab 的 drive 模块在 Colab 中可行,Kaggle 中需使用 Kaggle API 或第三方库如 gcsfs 访问 Google Cloud Storage)。将关键中间文件实时写入外部存储,可以彻底摆脱内核生命周期限制。
对于 Kaggle 用户,更简单的方案是使用 Kaggle 的私有数据集功能结合 API 自动上传。社区中有开发者分享了通过 kaggle datasets create 命令定期备份的脚本。
gcsfs 是 Python 中用于访问 Google Cloud Storage(GCS)的文件系统接口库,遵循 fsspec 规范,可以用类似本地文件操作的方式读写 GCS 上的对象。在 Kaggle 环境中,由于无法直接挂载 Google Drive(那是 Colab 的特有能力),gcsfs 提供了一条替代路径:只要用户拥有 GCS 存储桶和相应的服务账号凭据,就可以在 notebook 中将中间文件直接写入云端存储桶,实现跨会话持久化。类似地,s3fs 可用于 AWS S3,adlfs 可用于 Azure Blob Storage。这类库的共同优势是支持流式写入和分块上传,适合大文件场景;缺点是需要额外的云账号配置和可能的网络延迟。
4. 拆分任务与断点续传
如果特征提取需要数小时,考虑将其拆分为多个步骤,每一步的输出都保存为文件。使用检查点(checkpoint)机制,即使内核重启,也能从最近一次保存点继续,而不是从头开始。
此外,可以将特征提取代码封装为独立的脚本,通过 Kaggle 的“Batch”模式运行(非交互式),这样内核不会因不活动而超时。但注意 Batch 模式也有运行时长限制。
社区经验与额外建议
在 Reddit 讨论中,有经验的用户建议新手在开始长时间任务前,先阅读 Kaggle 的文档关于内核生命周期的说明。另外,使用 %cd 和 !pwd 确认当前工作目录,避免误将数据写入临时目录。
对于特征工程这类耗时操作,更好的做法是在本地或专用服务器上完成,再将结果上传为数据集。Kaggle 更适合快速实验和模型训练,而非长时间的数据预处理。
总结:养成持久化习惯
Kaggle 的临时容器设计是为了资源公平分配,但这也要求用户主动管理数据持久化。无论是上传数据集、保存版本,还是使用外部存储,核心原则是:不要假设 /kaggle/working 会长期存在。
对于刚入门的用户,建议从简单的“保存版本”开始,逐步建立自己的数据备份流程。毕竟,3.5 小时的等待换来的教训,一次就够了。
相关推荐

Daybreak Red部署指南:监督式安全调查参考架构
Daybreak Red参考架构解析:介绍监督式安全调查的安全控制设计、部署配置流程与运行监控机制,为团队落地受控安全调查提供工程参考。

Gemini 4 Neon 登顶 Models Engineering Index 榜首
Gemini 4 Neon 在 Models Engineering Index 上成为新晋第一,Hacker News 社区热议其排名含金量与评测方法。本文梳理榜单变动、社区反应及对开发者选型的实际影响。

苹果自研AI智能体:能替你操作Mac的Agent要来了
苹果据报正在开发可操控Mac的AI智能体,对标Meta Muse、Claude、OpenAI Dots等产品。本文分析苹果在agent赛道的系统级优势、竞争格局与可能的落地路径。