大模型面试高频考点-显存占用
目录
1.训练阶段
2.推理阶段
如何根据大模型的参数，来计算其在训练和推理阶段的显存占用大小呢？
基础知识：
1个字节(byte)，占8位(bit)。
全精度fp32， 就是32位，占4个(32/8=4)字节(byte)。
半精度FP16/BF16， 就是16位，占2个(16/8=2)字节(byte)。
int8， 就是8位，占1个(8/8=1)字节(byte)。
1.训练阶段
综上，int8 精度的 LlaMa-7B 模型，训练阶段大致需要的内存：
7GB+7GB+ 14GB+ 1.3GB+ 5.25 GB= 34.55GB左右
2.推理阶段
float32 精度的 LlaMa-7B 模型，推理阶段大致需要的内存：
3.725*7+21GB=47.075 GB