Milvus - 相似度量详解

在数据分析、分类和聚类任务中，相似度量是核心工具之一，衡量不同向量之间的相似性。选择适当的距离度量不仅提升分类与聚类的准确性，同时可以优化索引性能。Milvus 作为一款开源的向量数据库，支持多种相似度量和索引类型，适用于不同的数据类型（如浮点、二进制和稀疏嵌入）和应用场景。

相似度量与索引类型概览

Milvus 提供多种相似度量和索引类型组合，具体如下表所示：

下面将详细介绍常用的几种距离度量方法及其适用场景。

1. 欧氏距离（L2）

欧氏距离用于测量两点间的直线距离，适用于数据连续的场景。欧氏距离的计算公式如下：

$$d_{L2}(a,b)=\sqrt{\sum _{i=0}^{n-1}(a_i-b_i{)}^2}$$

其中，$a=(a_0,a_1,\dots ,a_{n-1})$ 和 $b=(b_0,b_1,\dots ,b_{n-1})$ 为 n 维欧氏空间中的两点。在 Milvus 中，当选择欧氏距离作为相似度度量时，系统只会计算平方和，以减少计算负担。

2. 内积（IP）

内积（Inner Product, IP）度量定义了两个嵌入之间的相似度，适合需要考虑幅度的场景。内积的计算公式如下：

$$\text{IP}(X,Y)=\sum _{i=0}^{n-1}{X}_i\cdot Y_i$$

对于已归一化的数据，内积相当于余弦相似度。假设嵌入 $X^{\prime }$ 是通过对嵌入 $X$ 归一化得到的：

$$X^{\prime }=\frac{X}{\Vert X\Vert }$$

则 (X’) 和 (Y’) 的内积相当于计算其余弦相似度。

3. 余弦相似度

余弦相似度衡量的是两向量之间的角度，适用于衡量方向一致性而不关心长度的场景。计算余弦相似度的公式如下：

$$\text{cosine\_similarity}(A,B)=\frac{{\sum }_{i=0}^{n-1}{A}_i\cdot B_i}{\sqrt{{\sum }_{i=0}^{n-1}{A}_i^2}\cdot \sqrt{{\sum }_{i=0}^{n-1}{B}_i^2}}$$

余弦相似度的取值范围为 $[-1,1]$，值越大，两个向量之间的夹角越小，相似度越高。

4. 雅卡德距离

雅卡德相似系数用于测量两个样本集的相似性，定义为交集的大小除以并集的大小。其公式为：

$$\text{Jaccard}(A,B)=\frac{|A\cap B|}{|A\cup B|}$$

雅卡德距离则为 $1-\text{Jaccard}(A,B)$，通常用于二进制数据或离散数据的比较。

5. 汉明距离

汉明距离用于衡量两个相同长度的二进制字符串之间的不同位数。其公式如下：

$$d_{\text{Hamming}}(X,Y)=\sum _{i=0}^{n-1}\text{XOR}(X_i,Y_i)$$

例如，字符串 “1101 1001” 和 “1001 1101” 的汉明距离为 2。

6. 结构相似性

在化学结构分析中，结构相似性用于判断一个化学结构是否是另一个结构的子结构或上层结构。假设有化学式的二进制表示 (A) 和数据库中的化学式 (B)，判断公式如下：

• 上层结构判断：

$$\text{superstructure}(A,B)=\{\begin{array}{ll}1,& \text{若 }A\text{ 是 }B\text{ 的上层结构}\\ 0,& \text{否则}\end{array}$$

• 子结构判断：

$$\text{substructure}(A,B)=\{\begin{array}{ll}1,& \text{若 }A\text{ 是 }B\text{ 的子结构}\\ 0,& \text{否则}\end{array}$$

结语

在 Milvus 中选择合适的相似度量方式和索引类型，不仅能提升检索效率，还能更好地适应数据的多样性与实际应用场景。