深度学习-85-RAG技术之Faiss搭配合适的model和embedding函数应用示例
文章目录
- 1 faiss介绍
- 2 接入模型
-
- 2.1 模型paraphrase-multilingual-mpnet-base-v2
- 2.2 两种使用模型的方式
-
- 2.2.1 使用库Sentence-Transformers
- 2.2.2 使用库Transformers
- 2.3 构建句子向量表示模型
- 3 构建Faiss索引
-
- 3.1 FaissIdx类
- 3.2 应用索引
- 4 构建语料索引
-
- 4.1 加载文档
- 4.2 应用示例
- 5 参考附录
1 faiss介绍
faiss全称Facebook AI Similarity Search，是FaceBook的AI团队针对大规模向量进行TopK相似向量检索的一个工具，使用C++编写，有python接口，对10亿量级的索引可以做到毫秒级检索的性能。
使用Faiss搭配合适的model和embedding函数，可以帮助我们构建人脸识别，相似图片检索，LLM知识库问答，推荐系统召回模块等应用。
2 接入模型
2.1 模型paraphrase-multilingual-mpnet-base-v2
选用了sbert的多语言模型sentence-transformers/paraphrase-multilingual-mpnet-base-v2。
这是一个 sentence-transformers 模型：它将句子和段落映射到768维密集矢量空间，可用于聚类或语义搜索等任务。
hugging face镜像站中下载模型
呈现为如下形式：