哪家云服务器好跑AI？瞄准AutoDL（附NVIDIA GPU 算力排名表）
#AutoDL #GPU #租显卡
最近本地GPU显存告急，需要搬迁到云服务器，既然选就得选个稳定且性价比高的，毕竟这个活是真烧钱呐。
0.先附上我整理好的算力排行天梯图，按实际需求选一张FP16算力给力的卡，
- PS：为什么是FP16？ 因为推理主要是看半精度算力。
NVIDIA GPU 算力对比表
数据中心 / AI训练卡
| GPU型号 | FP32 (TFLOPS) | FP16 (TFLOPS) | FP8 (TFLOPS) | 显存容量 | 发布年份 |
|---|---|---|---|---|---|
| H100 PCIe | 51 | 1,979 | 3,958 | 80GB | 2022 |
| H100 SXM5 | 67 | 2,039 | 4,078 | 80GB | 2022 |
| H800 PCIe | 51 | 1,979 | 3,958 | 80GB | 2023 |
| H800 SXM5 | 67 | 2,039 | 4,078 | 80GB | 2023 |
| A100 PCIe | 19.5 | 312 | N/A | 40/80GB | 2020 |
| A100 SXM4 | 19.5 | 312 | N/A | 40/80GB | 2020 |
| V100 SXM2 | 15.7 | 125 | N/A | 32GB | 2017 |
| V100 PCIe | 14.0 | 112 | N/A | 16/32GB | 2017 |
RTX 40系列（这么一对比是不是发现4090这货的牙膏挤的太猛…）
| GPU型号 | FP32 (TFLOPS) | FP16 (TFLOPS) | FP8 (TFLOPS) | 显存容量 | 发布年份 |
|---|---|---|---|---|---|
| RTX 4090 | 82.6 | 165.2 | N/A | 24GB | 2022 |
| RTX 4080 | 49 | 98 | N/A | 16GB | 2022 |
| RTX 4070 Ti | 40 | 80 | N/A | 12GB | 2023 |
| RTX 4070 | 29.1 | 58.2 | N/A | 12GB | 2023 |
| RTX 4060 Ti | 22.1 | 44.2 | N/A | 8/16GB | 2023 |
| RTX 4060 | 15.1 | 30.2 | N/A | 8GB | 2023 |
RTX 30系列
| GPU型号 | FP32 (TFLOPS) | FP16 (TFLOPS) | FP8 (TFLOPS) | 显存容量 | 发布年份 |
|---|---|---|---|---|---|
| RTX 3090 Ti | 40 | 80 | N/A | 24GB | 2022 |
| RTX 3090 | 35.6 | 71.2 | N/A | 24GB | 2020 |
| RTX 3080 Ti | 34.1 | 68.2 | N/A | 12GB | 2021 |
| RTX 3080 | 29.8 | 59.6 | N/A | 10/12GB | 2020 |
| RTX 3070 Ti | 21.7 | 43.4 | N/A | 8GB | 2021 |
| RTX 3070 | 20.3 | 40.6 | N/A | 8GB | 2020 |
| RTX 3060 Ti | 16.2 | 32.4 | N/A | 8GB | 2020 |
| RTX 3060 | 12.7 | 25.4 | N/A | 12GB | 2021 |
RTX 20系列
| GPU型号 | FP32 (TFLOPS) | FP16 (TFLOPS) | FP8 (TFLOPS) | 显存容量 | 发布年份 |
|---|---|---|---|---|---|
| RTX 2080 Ti | 13.4 | 26.8 | N/A | 11GB | 2018 |
| RTX 2080 Super | 11.2 | 22.4 | N/A | 8GB | 2019 |
| RTX 2080 | 10.1 | 20.2 | N/A | 8GB | 2018 |
| RTX 2070 Super | 9.1 | 18.2 | N/A | 8GB | 2019 |
| RTX 2070 | 7.5 | 15 | N/A | 8GB | 2018 |
| RTX 2060 Super | 7.2 | 14.4 | N/A | 8GB | 2019 |
| RTX 2060 | 6.5 | 13 | N/A | 6GB | 2019 |
备注：
- TFLOPS数据为理论峰值，实际应用性能可能会有所不同
- N/A表示该显卡不支持该精度的计算
- H800是H100的特供版本，主要面向中国市场，核心计算能力与H100相同
很好，就你了，V100 32GB
- 又忍不住想吐槽一下皮衣黄
1.先到社区找个合适的镜像，先对齐Linux版本、CUDA版本，Python版本后即可一键启动，然后再登录到容器里按需修改配置、库的版本等。
2. 核心需求是集成AI语音、AI画图，所以非GPT-SoVITS、SD莫属。
选择最新版本，一键创建实例:
-
首先登上AutoDL后台，点击控制台，左侧选择已启动的实例后，复制登录账号和密码，然后在本地电脑用SSH登录。
-
连接成功后，输入以下命令启动：
echo {}> ~/GPT-SoVITS/i18n/locale/en_US.json && source activate GPTSoVits && cd ~/GPT-SoVITS/ && python webui.py zh_CN -
此时GPT-SoVITS的WebUI的全部功能页均可使用使用public URL的gradio地址打开