大模型架构记录5-向量数据库
一 倒排索引、KNN、PQ
1.1 基础版本
query -> requery 对问题做处理，处理上下文
对query 做 refined query
1.2 向量数据库
二 搜索逻辑
2.1 knn
2.2 近似KNN
先和N个空间的均值比较再和空间内部的所有点比较，计算最近值。
优化一： 把附近几个空间的点都放进去，一起搜索。
三 数据压缩（PQ）
每个数据向量映射到对应的区域：
向量转换为ID，选择中心点。
query -> requery 对问题做处理，处理上下文
对query 做 refined query
先和N个空间的均值比较再和空间内部的所有点比较，计算最近值。
优化一： 把附近几个空间的点都放进去，一起搜索。
每个数据向量映射到对应的区域：
向量转换为ID，选择中心点。