【深度学习新浪潮】展平RVQ技术详解
展平 RVQ（Flattened Residual Vector Quantization）是一种基于矢量量化（Vector Quantization, VQ）的技术，主要用于高效地表示和压缩数据（例如图像、音频或文本嵌入）。它结合了**残差矢量量化（Residual Vector Quantization, RVQ）**的思想与“展平”操作，从而进一步优化存储和计算效率。
1. 矢量量化（Vector Quantization, VQ）
矢量量化是一种将连续的高维向量映射到离散码本（codebook）中的技术。其基本思想是：
- 将输入数据划分为多个小段（例如，一个长向量被分割为多个子向量）。
- 每个子向量通过查找码本中最接近的代表向量（称为码字，codeword）进行近似表示。
- 输出的是每个子向量对应的码字索引，而不是原始数据本身。
这种方法的优点在于：
- 数据被压缩成离散