当前位置：首页 > article >正文

【深度学习】PyTorch 的发展历程截止 2.1.0

article 2024/11/16 12:40:48

PyTorch

PyTorch
- - 1. **PyTorch 0.x 系列**
  - 2. **PyTorch 1.x 系列**
  - 3. **PyTorch 2.x 系列**
  - 发展趋势：
写在最后

PyTorch

PyTorch 作为一个深度学习框架，经历了多个版本的迭代，带来了许多新特性、改进和优化。以下是 PyTorch 主要版本的发布历程以及关键更新：

1. PyTorch 0.x 系列

PyTorch 0.1.0 (2016年9月)
PyTorch的初始发布版本，主要为学术研究而设计，提供了自动微分和动态计算图功能。
PyTorch 0.2.0 (2017年6月)
引入 torch.onnx 支持，允许 PyTorch 模型导出为 ONNX 格式，增强了与其他框架的互操作性。
PyTorch 0.3.0 (2017年11月)
提升了对分布式计算的支持，加入 CUDA 9 和 cuDNN 7 支持，改进了 RNN 性能。
PyTorch 0.4.0 (2018年4月24日)
这是一个重大版本更新，合并了 Tensor 和 Variable，引入 torch.no_grad()，并移除了 volatile。这个版本标志着 PyTorch 走向更简洁和更高效的 API 设计。

2. PyTorch 1.x 系列

PyTorch 1.0.0 (2018年12月)
这是一个重要里程碑版本，标志着 PyTorch 的正式成熟。1.0 版本引入了支持 C++ 前端的 JIT 编译器，提升了模型的生产部署能力。TorchScript 的引入使得模型在推理时的执行速度更快，也方便了跨平台部署。
PyTorch 1.1.0 (2019年5月)
增加了新的分布式训练接口和强化的 JIT 功能，还改进了性能优化。
PyTorch 1.2.0 (2019年8月)
提供了对更大模型和更复杂计算图的支持，增强了对 ONNX 的导出。
PyTorch 1.3.0 (2019年10月)
引入了对量化（quantization）的支持，提升了模型在边缘设备上的性能。同时增加了 torchserve 用于模型服务。
PyTorch 1.4.0 (2020年1月)
持续改进了量化训练支持，并改进了分布式训练中的 NCCL 后端。
PyTorch 1.5.0 (2020年4月)
完善了混合精度训练（mixed-precision training）支持，还改进了 TorchScript 的性能。
PyTorch 1.6.0 (2020年8月)
重点是加入了 AMP（Automatic Mixed Precision）功能，并改进了 profiling（性能分析）工具。
PyTorch 1.7.0 (2020年10月)
弃用了 torch.nn.utils.clip_grad_norm，加强了对 ONNX 的支持，改进了深度学习调试工具，以及优化了性能分析器。
PyTorch 1.8.0 (2021年3月)
加强了对移动设备和边缘计算的支持，引入了更高效的推理加速器。
PyTorch 1.9.0 (2021年6月)
增加了对复杂数学运算的支持，扩展了 torch.special 模块，并改进了分布式训练和性能优化。
PyTorch 1.10.0 (2021年10月)
进一步扩展了分布式训练支持，增加了 torch.compile() 用于动态编译模型。
PyTorch 1.11.0 (2022年3月)
强化了量化支持，增加了对 PyTorch XLA 的优化，提升了在 TPU 上的性能。

3. PyTorch 2.x 系列

PyTorch 2.0.0 (2023年3月)
引入了 TorchDynamo 和 TorchInductor，它们通过动态编译器提高了模型的推理速度。PyTorch 2.0 进一步提升了性能优化和编译能力，使得 PyTorch 在生产部署和性能上更具竞争力。
PyTorch 2.1.0 (2023年10月)
提升了分布式训练、图优化，以及对边缘设备的支持，并引入了新的 API 和优化工具。