大模型架构记录5-向量数据库
一 倒排索引、KNN、PQ
1.1 基础版本
query -> requery 对问题做处理,处理上下文
对query 做 refined query
1.2 向量数据库
二 搜索逻辑
2.1 knn
2.2 近似KNN
先和N个空间的均值比较再和空间内部的所有点比较,计算最近值。
优化一: 把附近几个空间的点都放进去,一起搜索。
三 数据压缩(PQ)
每个数据向量映射到对应的区域:
向量转换为ID,选择中心点。
query -> requery 对问题做处理,处理上下文
对query 做 refined query
先和N个空间的均值比较再和空间内部的所有点比较,计算最近值。
优化一: 把附近几个空间的点都放进去,一起搜索。
每个数据向量映射到对应的区域:
向量转换为ID,选择中心点。