PyTorch深度学习实战（27）—— PyTorch分布式训练
本节将详细介绍如何进行神经网络的分布式训练。其中1.1将结合MPI介绍分布式训练的基本流程，1.2与1.3将分别介绍如何使用
torch.distributed
以及Horovod进行神经网络的分布式训练。
1 PyTorch分布式训练
1.1 使用MPI进行分布式训练
下面讲解如何利用MPI进行PyTorch的分布式训练。 这里主要介绍的是数据并行的分布式方法：每一块GPU都有同一个模型的副本，仅加载不同的数据进行训练。例如，使用两个节点，共8块GPU进行基于数据并