minicpm 多模态RAG构建案例
方案:
MiniCPM-V-Embedding 作为向量模型(ocr free模型)
MiniCPM-V 多模态大模型
MiniCPM-V-Embedding 向量模型
参考:https://github.com/RhapsodyAILab/MiniCPM-V-Embedding (类似clip模型)
代码向量使用:
文本召回图像
https://huggingface.co/RhapsodyAI/MiniCPM-V-Embedding-preview
from transformers import AutoModel
from transformers import AutoTokenizer
from PIL import Image
import torch
device = 'cuda:0'