不同的embedding技术效果评价

在评估四种不同的嵌入技术（Conan-embedding-v1、demo_vector_bm25、nomic-embed-text_latest、xiaobu-embedding-v2）的效果时，考虑以下几个方面：

相关性：嵌入结果是否与查询高度相关。

多样性：嵌入结果是否涵盖了不同的信息维度。

信息量：嵌入结果是否提供了足够的信息来回答查询。

结构清晰度：嵌入结果是否易于理解和解析。

我的评价标准：(0-10分进行手动打分)

精确性：其中相似度最高的前两个检索结果能否符合问题要求

相关性：嵌入的所有结果是否与查询相关。

问答1：找博士学历候选人

问题：问博士学历，他不一定能判断出来，基于相似度可能找到的是学历，而不是博士

这个测试没有代表性，因为测试样本中博士比较少，没有显示出不同模型能力的差别。

问答2：985高校硕士

问题：部分查不到985，只能检索高校，但不知道哪些高校是985

问答3：211大学本科以上学历

问题：与985问题一样，而且211以上，也没有区分按道理985也应该能够找到。同样的问题还有“有大型企业工作经历”，怎样去定义大型？llm不理解

问答4：国外留学背景

问题：国外留学背景，不能理解整个问题的意思，和国相关就去检索了，但是国和国外的检索差别很大，分词上。

问答5：找流体力学专业

问题：demo按关键词搜索，在预估表现上并没有超过相似度检索的xiaobu和conan，可能问题的纯度比较高，相似度还是能够满足需求

问答6：找计算机相关专业

问题：考取了计算机相关证书的也会检索到，然而他可能并不是计算机专业的。按关键词检索就会出问题，因为有些专业叫做高能物理计算。

问答7：熟悉Python的

问答8：有深度学习经验的

问题：虽然不能直接通过关键词检索到深度学习，但是相似度的检索还是占有优势，比如简历中提到卷积方法、tenserflow、yolo5

问答9：有3年以上工作经验

问题：相似度检索整体相关性很好，但面对这种问题，不能理解整个问题的意思，只抽取部分词语去理解，经验——熟练掌握中英文。关键词就很好，因为一般简历会直接写几年工作经验。不过2.5年经验的也会被检索到。

相同的问题是“互联网行业经验”，如果一个关键词语在一整句问题中占的比例较少，基于相似度检索的效果就不佳

问答10：有项目管理经验的

问题：相似度检索能从管理检索到主导这类的词语，相同语义的也能检索。

问答11：有专利成果的

问答12：有聚变行业经验

问题：简历测试文件比较少，聚变人才少，这个问题不太好测

总结：

大部分场景相似度检索的效果更好，其中xiaobu效果最优。部分场景更适合用关键词检索，3年以上工作经验，但是也会漏了类似2012-2015这样的时间信息。

因此后续的检索效果提升准备用混合检索，80%的大模型+20%关键词检索。

多agent思路、交互速度（并行OCR解析）