fp16与fp32简介与试验
目录
一、fp16和fp32介绍
二、为什么应用fp16训练：
三、应用fp16存在问题
四、实践对比
引用：
一、fp16和fp32介绍
- fp16是指采用2字节(16位)进行编码存储的一种数据类型；同理fp32是指采用4字节(32位)；
- 如上图，fp16第一位表示+-符号，接着5位表示指数，最后10位表示分数；
- 公式：
- 其中，sign位表示正负，exponent位表示指数（ ），fraction位表示的是分数（ ）。其中当指数为零的时候，下图加号左边为0，其他情况为1。
- 具体计算情况可分为下面三种：
- Exp:
<
- 公式：