LoRA中黑塞矩阵、Fisher信息矩阵是什么
LoRA中黑塞矩阵、Fisher信息矩阵是什么
1. 三者的核心概念
-
黑塞矩阵（Hessian）
二阶导数矩阵，用于优化问题中判断函数的凸性（如牛顿法），或计算参数更新方向（如拟牛顿法）。 -
Fisher信息矩阵（Fisher Information Matrix, FIM）
统计学中衡量参数估计的不确定性，反映数据中包含的关于参数的信息量。在机器学习中常用于自然梯度下降（Natural Gradient Descent）。 -
LoRA（Low-Rank Adaptation）
一种模型微调技术，通过低秩分解近似全连接层的权重矩阵，减少计算量和存储需求（如用于大语言模型微调）。
2. 三者的关系
（1）优化中的联系
-
黑塞矩阵与Fisher矩阵