Milvus - 内存索引类型详解

在大规模数据处理和向量相似性搜索场景中，索引的使用显著提升了查询速度和效率。Milvus 提供了多种内存索引类型，以满足不同场景下的性能需求。本文将介绍 Milvus 支持的各种内存索引类型及其适用场景、配置参数等内容。

为什么选择内存索引？

内存索引可以有效组织数据，从而提升查询性能。在 Milvus 中，每个向量场（Field）可以选择一种适合的索引类型，以优化特定查询的速度。Milvus 支持的索引类型主要基于近似最近邻搜索（ANNS）算法，在实现快速搜索的同时允许一定精度的牺牲，从而加速大规模数据集上的查询。

Milvus 支持的索引类型概览

Milvus 支持多种索引类型，根据嵌入类型（浮点、二进制、稀疏）不同，其适用场景也有所差异。主要包括以下几类索引：

1. FLAT 索引

• 适用场景：数据集相对较小，且对搜索精度要求极高。
• 特点：进行穷举搜索，不对数据进行压缩，能够保证 100% 的召回率和精确性。
• 参数配置：无需参数配置。

2. IVF_FLAT 索引

• 分类：基于量化的索引。
• 适用场景：需要较高的召回率和快速查询的场景。
• 特点：使用倒排文件，将向量数据划分为多个聚类单元。通过调节 nprobe 值，在召回率与查询速度之间找到平衡。
• 参数配置：
  • nlist：群组单位数，范围为 [1, 65536]，默认值为 128。
  • nprobe：查询的单位数，影响搜索精度和速度。

3. IVF_SQ8 索引

• 分类：基于量化的索引。
• 适用场景：内存资源有限的场景，允许轻微的召回率下降。
• 特点：通过标量量化（SQ）将每个浮点数（4 字节）转换为 1 字节，从而降低内存和存储需求。
• 参数配置：
  • nlist：群组单位数，范围为 [1, 65536]。
  • nprobe：查询的单位数。

4. IVF_PQ 索引

• 分类：基于乘积量化的索引。
• 适用场景：内存资源有限，且允许较大召回率下降的极高速查询场景。
• 特点：结合 IVF 和 PQ（乘积量化）方法，进一步压缩数据存储需求，减少计算量，但会牺牲一定精度。
• 参数配置：
  • nlist：群组单位数。
  • m：乘积量化因子数，通常满足 dim mod m == 0。
  • nbits：低维向量的存储位数，默认值为 8 位。

5. SCANN 索引

• 分类：基于量化的索引。
• 适用场景：高精度、高查询速率的场景，适合内存资源较为充足的场景。
• 特点：与 IVF_PQ 相似，但利用 SIMD（单指令多数据流）技术提升计算效率。
• 参数配置：
  • nlist：群组单位数。
  • reorder_k：查询的候选单位数量，通常范围为 [top_k, ∞]。

6. HNSW 索引

• 分类：基于图的索引。
• 适用场景：高精度、快速查询，且内存资源充足的场景。
• 特点：HNSW 使用多层结构的导航小世界图进行搜索。每层节点间的距离逐层缩小，从最上层到下层逐步接近目标，快速找到最近邻。
• 参数配置：
  • M：图中每个节点的最大连接数，影响精度和速度。
  • efConstruction：控制索引构建速度与质量之间的平衡。
  • ef：在查询时调整精确度和速度的权衡，ef 值越高，精度越高，速度越慢。

索引的配置与选择

在选择索引时，需要综合考虑数据规模、查询速度需求、硬件资源等因素。以下是对常用索引的总结：

结语

内存索引在 Milvus 中起到优化查询性能的关键作用。通过合理选择和配置索引类型，可以在精确度和查询速度之间找到平衡，满足不同的业务需求。