使用 `screen` + `nohup` 实现高效日志记录和多环境任务管理
使用 screen + nohup 实现高效日志记录和多环境任务管理
在深度学习模型训练中，特别是在服务器上运行长时间的任务时，有效的任务管理和日志记录至关重要。我们通常需要在后台运行多个任务，同时为每个任务配置不同的 conda 环境。通过结合使用 screen 和 nohup，我们不仅可以在后台高效运行任务，还可以集中管理日志并实现环境隔离。本指南将重点介绍如何利用 screen + nohup 实现高效的日志记录和任务隔离。
一、使用 screen 配置多个 conda 环境的独立会话
当在服务器上执行多个任务时，不同任务往往依赖不同的环境。通过 screen，我们可以为每个任务创建独立的会话，在不同的 conda 环境中运行各自的任务，避免环境冲突。
步骤
-
创建新的
screen会话并命名：screen -S task_session_name这里的
task_session_name是会话名称，可以根据任务内容自定义。此命令将开启一个新的screen会话。 -
激活特定的
conda环境：在新的
screen会话中，激活任务所需的conda环境。例如：conda activate my_env这样，
task_session_name会话将运行在my_env环境中，后续所有命令都会在该环境下执行，实现了任务环境的独立隔离。
二、利用 nohup 后台执行任务并管理日志
激活特定 conda 环境后，为了让任务在后台持续运行，同时将输出和错误信息记录到日志文件，可以使用 nohup。
nohup python train.py > task_name.log 2>&1 &
命令详解
nohup：使任务在终端关闭后依然继续运行。python train.py：执行训练脚本train.py。>：将标准输出（stdout）重定向到日志文件。task_name.log：日志文件名，用于记录标准输出和错误信息。2>&1：将标准错误输出（stderr）重定向到标准输出，方便集中记录日志。&：将任务置于后台执行，释放会话供其他任务使用。
查看日志
通过 nohup，所有输出都会记录在指定的日志文件中。为实时查看日志内容，通常我们会使用 tail -f 命令：
tail -f task_name.log
该命令允许我们实时监控日志的更新，非常适合单任务的日志跟踪需求。
同时查看多个日志
在多任务的情况下，我们可能需要同时查看多个日志文件。此时可以使用 multitail，它可以在同一窗口内分屏显示多个日志文件，提供一个更直观的实时日志跟踪体验。multitail 需先安装，以下是常见的安装方法：
1. 安装 multitail
-
Debian/Ubuntu 系列：
sudo apt-get install multitail -
RedHat/CentOS 系列：
sudo yum install multitail -
MacOS（使用 Homebrew）：
brew install multitail
2. 使用 multitail 查看多个日志
安装 multitail 后，可以通过以下命令在分屏中查看多个日志：
multitail task_A.log task_B.log
此命令会在一个窗口内显示 task_A.log 和 task_B.log 的内容更新，适用于需要同时监控多项任务的场景，如深度学习中不同模型的训练进程、同一模型在不同超参数设置下的训练日志等。
多日志查看的替代方法：并行使用 tail -f
如果不方便安装 multitail，也可以使用 tail -f 的后台运行方式同时监控多个日志文件：
tail -f task_A.log &
tail -f task_B.log &
每个 tail -f 命令会在后台运行并独立显示日志更新。这种方法虽不具备分屏效果，但在有限环境下提供了同时查看多个日志的简单替代方案。
场景示例
- 模型训练日志监控：在实验中，我们可能同时运行多个模型或多组超参数实验。使用
multitail或tail -f同时查看日志，可以随时观察模型的训练进度、验证准确率等输出，便于发现异常情况及时调整。 - 批处理任务监控：在批处理系统中，多个脚本任务可能同时运行，生成不同的日志文件。通过实时查看多日志文件，可以快速识别哪个任务遇到问题并进行调试。
通过这些方式，我们可以高效地监控日志，特别是在并行任务较多的深度学习训练场景下，有助于及时掌握任务状态，优化训练管理流程。
结合 screen 与 nohup 的优势
- 后台稳定运行：任务即使在终端关闭后仍能持续运行。
- 集中日志管理：所有输出和错误信息集中记录在日志文件中，便于后续分析与排查。
- 多环境隔离：每个
screen会话对应不同的conda环境，防止任务间环境冲突。
三、灵活使用 screen 管理不同 Conda 环境的任务
以下是利用 screen 和 nohup 实现多任务管理的完整示例。假设我们有两个不同的训练任务，各自依赖不同的 conda 环境：
示例 1：任务 A
# 创建并进入名为 task_A 的 screen 会话
screen -S task_A
# 激活 A 任务所需的 conda 环境
conda activate env_A
# 后台运行任务并记录日志
nohup python train_A.py > task_A-参数1=xxx.log 2>&1 &
nohup python train_A.py > task_A-参数1=yyy.log 2>&1 &
示例 2：任务 B
# 创建并进入名为 task_B 的 screen 会话
screen -S task_B
# 激活 B 任务所需的 conda 环境
conda activate env_B
# 后台运行任务并记录日志
nohup python train_B.py > task_B-参数1=xxx..log 2>&1 &
nohup python train_B.py > task_B-参数2=xxx..log 2>&1 &
通过这种方法，我们可以为每个任务配置独立的 conda 环境，分别记录日志文件，避免任务冲突且便于追踪任务进度。
除了
nohup日志记录，screen也自带日志功能，便于获取会话的实时输出。
可以在
screen会话中执行快捷键Ctrl + A + H，这会将会话输出记录到screenlog.0文件中，适合在 无需分开记录 每个命令日志的简单场景下使用。
四、清理 screen 会话以维护系统整洁
对于习惯使用 screen 的用户，系统中可能积累了许多 Detached（挂起）状态的 screen 会话。为了系统资源的清理和便于管理，我们可以批量退出这些无用的 screen 会话。
1. 清理所有 Detached 状态的 screen 会话
使用以下命令可以批量退出所有挂起的 screen 会话：
screen -ls | grep Detached | awk '{print $1}' | xargs -I {} screen -X -S {} quit
解释
screen -ls：列出所有当前存在的screen会话。grep Detached：筛选出所有处于 Detached 状态的会话（即后台挂起）。awk '{print $1}'：提取会话 ID。xargs -I {} screen -X -S {} quit：对每个会话执行quit命令。
这样便能清理掉所有不再使用的 screen 会话，避免了无用会话堆积带来的管理难度。
2. 直接清理 Dead（失效）的 screen 会话
对于已经 Dead 的 screen 会话（通常是因异常退出或崩溃引起的失效会话），可以使用以下命令直接清理：
screen -wipe
该命令会自动清理标记为 Dead 的会话，保持系统整洁并减少资源占用。
五、总结
借助 nohup 和日志文件，我们可以有效地简化深度学习训练任务的管理过程，避免频繁启动 screen 会话带来的复杂性。同时，灵活结合 screen 和不同的 Conda 环境，可以让我们对多个任务及其环境配置进行更高效的管理。
- 只需一次 Conda 环境激活，所有训练任务均可在后台高效执行。
- 日志集中管理：通过
nohup重定向输出，将所有信息记录到日志文件中，方便查看任务进度和排查错误。 - 便于管理多个环境和参数配置：使用
screen为不同任务配置独立的 Conda 环境和参数，所有日志记录清晰明了。 - 及时清理无用的
screen会话：确保系统整洁并减少资源浪费。
希望这篇指南能帮助大家优化训练任务管理流程，提升工作效率。