【hugging face】bitsandbytes中8 bit量化的理解
8 位量化使数十亿参数规模的模型能够适应更小的硬件，而不会降低性能。 8 位量化的工作原理如下：
1.从输入隐藏状态中按列提取较大值（离群值）。
2.对 FP16 中的离群值和 int8 中的非离群值执行矩阵乘法。
3.改变非异常值结果以将值拉回到 FP16，并将它们添加到 FP16 中的异常值结果中。
因此，本质上，我们执行矩阵乘法以节省精度，然后将非异常值结果拉回到 FP16，而非异常值的初始值和按比例缩小后的值之间没有太大差异。你可以看下面的例子
