论文略读：Uncovering Hidden Representations in Language Models
202502 arxiv
说一下主要结论吧
- 对于下游任务，语言模型的中间层在所有架构和任务中始终优于最后一层
- 这挑战了使用最后一层表示的传统观点。
- 不同的架构表现出不同的信息压缩模式。自回归模型在中间层存在瓶颈，而双向模型则保持更均匀的趋势
- BERT通过双向编码整个输入，通常在各层之间保持较高的熵值，这表明压缩较少
- 模型可以一次看到所有的token，因此不需要丢弃太多信息
- 只有解码器的Pythia展示出一个明显的中层熵值下降
- 反映出其自回归目标在网络中部倾向于过滤或剪枝非本地细节
- 因此，Pythia的“最佳状态”通常位于中间深度，在这里它平衡了必要的上下文和压缩
- Mamba通过状态空间方法处理序列，导致其在深度上的曲线更为平坦和均匀
- 它既不像BERT那样保持大量信息，也不像Pythia的中间层那样进行激烈的压缩
- BERT通过双向编码整个输入，通常在各层之间保持较高的熵值，这表明压缩较少
- 较大的decoder-only模型表现出更明显的中间压缩
- 这表明它们在提炼相关特征方面的能力增强
- 不同Transformer子组件对于信息压缩的影响不一样
- 通过在每个子层后测量熵值，发现残差连接驱动了中间网络压缩
- 在残差之前的子层（例如预注意力、原始注意力或MLP预残差输出）通常表现出较轻微的压缩；它们的表示仍然保留了大部分原始变异性。
- 残差子层则表现出明显的熵值下降，反映出显著的信息过滤。
- ——>表明残差连接作为一种正则化器或“噪声过滤器”，有助于平滑隐藏表示中的虚假成分
- 连锁思维（CoT）微调使模型能够在整个层中保持更丰富的上下文
- CoT微调促使模型在其隐藏层中保持更多的上下文，从而能够更好地进行多步推理
