• 人工智能
• AI Agent
• 大模型
• 深度研究
• 自主智能体
• 深度学习

做深度学习的同学都有过这种痛：租了云 GPU 跑实验，转头接个电话回来，实例已经被平台悄悄回收了。auto-deep-researcher-24x7 是一个 24/7 自主运行深度学习实验的 AI Agent，它内置了GPU 自动检测与GPU 保活（keep-alive）机制：用一张 4KB 的小张量在预留显卡上"打心跳"，让云平台检测不到空闲，从而稳稳守住你的实例。本文带你弄懂这套机制的原理，并给出一套开箱即用的实战技巧。

为什么云GPU实例会被"回收"？

很多云开发平台（如 Aliyun PAI-DSW 等）都有资源回收策略：GPU 持续空闲一定时间（通常约 3 小时）后，实例会被自动回收或降配，以节省平台成本。

对 24/7 长时间自主实验来说，这是个致命问题——你的 Agent 可能刚进入 THINK 阶段思考下一步实验，实例就被平台"收走"了。解决办法其实很简单：让 GPU 始终保持一点"活动痕迹"。auto-deep-researcher-24x7 把这做成了一个内置守护进程，完全自动化。

GPU 保活原理：4KB 张量的"心跳"

🛡️ 保活逻辑集中在 gpu/keeper.py 中的GPUKeeper类，核心思路非常轻巧：

1. 分配极小张量：在指定 GPU 上分配一个 1024 个 float32 的张量，仅占4KB 显存，对训练任务几乎零影响；
2. 周期性心跳：默认每300 秒（5 分钟）执行一次原地加 1 再清零的微型操作（add_(1.0)→zero_()），向平台登记一次"GPU 活动"；
3. 优雅退出：监听SIGTERM/SIGINT信号，收到退出信号后释放张量并调用torch.cuda.empty_cache()清理显存，不会残留进程。

关键代码见 GPUKeeper.start，整个保活循环不到 30 行，简单到可以当模板自己改造：

# 在目标 GPU 上分配 4KB 小张量，周期性"打心跳" self._tensor = torch.zeros(1024, device=device, dtype=torch.float32) while self._running: self._tensor.add_(1.0) self._tensor.zero_() time.sleep(interval)

GPU 自动检测：框架如何知道该用哪些卡

保活的前提是"分得清卡"。gpu/detect.py 提供了一套基于nvidia-smi的检测工具：

其中reserve_last参数是关键设计：当 get_usable_gpus 开启预留时，实验只会使用前 N-1 张卡，最后一张卡专门留给 GPUKeeper 打心跳，两者互不抢卡。

下图是项目的整体架构，其中 EXECUTE 阶段的零成本监控（zero-cost monitor）正是通过nvidia-smi轮询实现 GPU 状态感知的：

GPU 保活实战技巧

技巧一：一条命令启动保活守护进程

在云实例上直接运行保活守护进程，指定要"守护"的 GPU 编号：

python -m gpu.keeper --gpu 3 --interval 300

--gpu指定保活的显卡 ID，--interval是心跳间隔（秒），默认 300 秒已经足够应付大多数平台 3 小时的空闲回收阈值。建议配合nohup或 tmux 让它后台常驻。

技巧二：配置reserve_last自动预留保活卡

在项目config.yaml中开启两个开关，实验循环就会自动跳过最后一张卡：

gpu: auto_detect: true # 自动检测可用 GPU reserve_last: true # 预留最后一张 GPU 给保活

对应配置见 config.yaml。这样你启动实验时无需手动挑卡，Agent 会自动避开保活卡。

技巧三：用 /gpu-monitor 一眼看清保活状态

安装项目技能后（python install.py），随时用/gpu-monitor命令查看各卡状态。输出中会明确标注哪张卡在跑训练、哪张卡是保活进程：

GPU Name Memory Util Temp 0 L20X 144GB 45123/147456 98% 72°C ← training (PID 12345) 1 L20X 144GB 234/147456 0% 35°C ← FREE 3 L20X 144GB 1024/147456 12% 40°C ← keeper

← keeper这一行就是保活进程在岗的证明，行为细节参见 skills/gpu-monitor/SKILL.md。

技巧四：单卡用户怎么配？

如果你的实例只有一张 GPU，保活和实验要共用它——把reserve_last设为false，让实验循环使用这张卡即可（保活进程与训练进程共存于同一张卡上，4KB 显存开销可忽略）。参考示例 examples/toy_experiment/config.yaml 与单卡使用指南 examples/single_gpu/README.md。

常见问题速答

💡 保活会占用多少显存和算力？4KB 显存 + 每 5 分钟一次微秒级操作，实测对训练任务的影响基本为零，远小于正常训练 1% 的波动。

💡 心跳间隔设多大合适？平台空闲回收阈值一般是 3 小时左右，默认 300 秒（5 分钟）留有充分余量。除非平台策略更激进，一般无需调小。

💡 怎么确认保活进程活着？看日志出现GPU Keeper starting on GPU N，或用/gpu-monitor确认对应卡显示← keeper。进程停止时会打印GPU Keeper stopped.并自动清理缓存。

小结

auto-deep-researcher-24x7 用一套极简但完整的机制解决了云 GPU 被回收的顽疾：gpu/detect.py负责自动检测与分卡，gpu/keeper.py用 4KB 张量心跳守住实例，/gpu-monitor让状态一目了然。配合 24/7 自主实验循环，你可以真正做到"睡前交任务，醒来收结果"，而不用担心一觉醒来实例已凉。

• 人工智能
• AI Agent
• 大模型
• 深度研究
• 自主智能体
• 深度学习