当前位置：首页 > article >正文

PyTorch Lightning pytorch.loggers模块介绍

article 2025/2/19 14:10:24

pytorch.loggers 是 PyTorch Lightning 提供的一个模块，用于集成多种日志记录工具，方便开发者在训练过程中记录和监控模型的性能指标、超参数等信息。日志记录器（Loggers）是 PyTorch Lightning 的重要组成部分，可以通过简单的配置与 Trainer 集成，实现自动化的日志记录功能。

1. 日志记录器的主要功能

日志记录器的主要功能包括：

记录训练指标：如损失值、准确率等，方便监控模型的训练和验证过程。
记录超参数：记录模型的超参数设置，便于后续的实验复现和分析。
可视化训练过程：通过与可视化工具（如 TensorBoard、WandB）集成，实时查看训练曲线和指标变化。
支持多种日志格式：支持将日志保存为不同的格式，如 CSV、JSON 等，方便后续分析。

2. 常见的日志记录器

PyTorch Lightning 提供了多种内置的日志记录器，开发者可以根据需要选择合适的一种或多种：

TensorBoardLogger：集成 TensorBoard，支持将日志保存为 TensorBoard 格式，便于使用 TensorBoard 进行可视化

from pytorch_lightning.loggers import TensorBoardLogger
logger = TensorBoardLogger("logs", name="my_model")
trainer = pl.Trainer(logger=logger, max_epochs=10)

WandbLogger：集成 WandB，支持将日志上传到 WandB 平台，便于团队协作和实验管理。

from pytorch_lightning.loggers import WandbLogger
logger = WandbLogger(project="my_project")
trainer = pl.Trainer(logger=logger, max_epochs=10)

注：使用 WandbLogger 时，如果未登录WandB，WandB 会默认以匿名模式运行。在这种情况下，你仍然可以在本地查看日志数据，但无法在 WandB 的 Web 界面上查看。

CSVLogger：将日志保存为 CSV 格式，方便后续使用 Excel 或其他工具进行分析。

from pytorch_lightning.loggers import CSVLogger
logger = CSVLogger("logs", name="my_model")
trainer = pl.Trainer(logger=logger, max_epochs=10)

3. 使用日志记录器

日志记录器可以通过 Trainer 的 logger 参数进行配置。在训练过程中，可以通过 LightningModule 的 self.log 方法记录指标。

class LitModel(pl.LightningModule):
    def training_step(self, batch, batch_idx):
        x, y = batch
        loss = self.forward(x)
        self.log("train_loss", loss, on_step=True, on_epoch=True, logger=True)
        return loss