RAG：知识库参数设置

工作过程中，使用工作流过程中，由于嵌入知识库。需要对知识库进行配置，下文将对工作过程中的知识库配置进行介绍、并对相关经验进行总结。

目录

一、知识库参数

1. Rerank模型（重排序）

2. Top K

3. Score阈值

4. 全文检索、向量检索和混合检索

5. Q & A分段模式

一、知识库参数

知识库包含很多配置参数

1. Rerank模型（重排序）

在知识库检索中，Rerank是一个非常重要的环节，尤其在检索增强生成（RAG）架构中。它可以帮助大语言模型（LLM）获取更精确的内容，从而提高生成回答的准确性和相关性。

Rerank的原理和机制：

1. 初步检索

• 在知识库检索的过程中，首先通过向量检索或其他检索方法，从知识库中检索出于用户问题相关的多个文档或文本片段。
• 这些文档可能与用户问题的相关性不同，有些可能非常贴切，而有些知只是稍微相关，甚至不相关。

2. 重新排序、过滤和优化

• Rerank模型 接收初步检索到的文档和列表和用户的问题作为输入。评估每个结果与用户问题的相关性，计算相关性分数。根据分数对文档进行重新排序，将最相关订单文档排在前面。
• 并且，过滤掉不相关的文档，从而减少噪声。
• 这样，当LLM生成回答时，会优先考虑排名靠前的、更加相关订单文档。最后，重新排序的文档作为上下文输入到LLM中，LLM根据这些更精确的上下文生成回答。

总之，Rerank可以帮助LLM获取更精确的内容的原因是：

• 提高相关性
• 减少噪声
• 优化上下文

2. Top K

Top K用于控制检索系统返回结果的数量。例如，如果配置为2，会返回最多两个结果。

Top K通常与👇🏻的Score阈值配合使用。Score阈值用于过滤掉相似度低于某个阈值的结果，而Top K则在满足阈值条件的基础上，进一步筛选出来最相关的K个结果。

Top K的设置建议

1. 根据知识库规模调整

• 如果用户需要更全面的结果，可以适当增加 Top K 的值。

• 如果用户需要更精准的结果，可以适当减小 Top K 的值，并结合较高的 Score 阈值。

在实际使用中，建议通过测试不同Top K的值，观察检索结果的相关性和效率，找到最适合当前知识库和用户需求的设置。

3. Score阈值

Score阈值作为一种标准选择检索结果。用于过滤掉相似度低于阈值的结果，而Top K在此基础上，进一步筛选出最相关的K个结果。

例如，假设 Score 阈值 = 0.7，Top K = 3，则检索系统会先筛选出相似度大于 0.7 的所有结果，再从这些结果中选择分数最高的 3 个结果返回。

4. 全文检索、向量检索和混合检索

• 全文检索适合精确关键词查询，效率高但缺乏语义理解。

• 向量检索适合模糊查询和语义理解，但对精确查询支持不足，资源消耗大。

• 混合检索综合了两者的优点，适合需要兼顾精确匹配和语义理解的复杂场景，但实现和资源要求较高。

1. 全文检索

是基于关键词匹配的检索方式，会索引文档中的所有词汇，当用户输入查询时，系统会查找包含这些关键词的文档或者文本片段。

• 精确匹配：对于精确的关键词查询效果很好，例如产品名称、人名等
• 简单高效：实现简单、检索速度快，适合大规模数据检索

不足：缺乏语义理解、对拼写错误或者变体词处理较弱不敏感。

2. 向量检索

向量检索是基于语义相似度的检索方式。通过将文档和查询转换为向量表示，然后计算向量之间的相似度来检索最相关的文档。

• 能够理解上下文，对模糊查询和同义词查询效果很好。
• 多语言支持：可以支持跨语言检索。

不足：对精确查询不敏感、需要大量的计算资源和存储资源。

3. 混合检索

混合检索结合了全文检索和向量检索的有点。同时使用多种检索方式（如向量检索和关键词检索），然后将结果进行融合，包括去重和排序。

• 结合全文检索的精确匹配和向量检索的语义理解，能够提供更全面和准确的检索结果。
• 灵活性高：可以根据具体需求调整不同检索方式的权重。

不足：复杂性高，需要较高的计算和存储资源来支持多种检索方式。

5. Q & A分段模式

Q & A分段模式是指在知识库中的内容按照问题和答案的形式进行组织和分段。这种模式主要用于优化知识库的检索效应，特别是在问答系统或者智能客服场景中，能够更加精确的匹配用户的问题并提供相应的答案。

1. Q & A 分段模式定义

• 问题（Question）：用户可能提出的具体问题。这些问题通常是用户在与系统交互时可能输入的文本，例如“如何重置我的密码？”或“L8 的功能是什么？”。

• 答案（Answer）：针对每个问题提供的详细回答。答案通常是对问题的直接回应，包含了用户需要的信息。

Q & A分段模式通过将问题与答案分开存储，检索西戎可以直接匹配用户的输入问题，找到最终的答案。这种方式比传统的全文检索更为精准，因为直接针对用户的问题进行匹配。

• 精准匹配：通过将问题和答案分开存储，检索系统可以直接匹配用户的输入问题，找到最相关的答案。这种方式比传统的全文检索更精准，因为它直接针对用户的问题进行匹配。

• 提高效率：Q&A 分段模式可以减少检索范围，提高检索效率。系统只需要在问题部分进行匹配，而不需要在大量文本中搜索。

• 用户体验：用户可以直接获得他们需要的答案，而不需要在大量文本中寻找相关信息，从而提升用户体验。

适用场景主要有：智能客服、知识库管理、在线教育

使用此模式的注意事项：

• 问题的多样性：为了提高匹配的准确性，需要在知识库中为每个问题同多种表述方式，以覆盖用户可能的不同提问方式。
• 答案的完整性：答案需要简洁明了，同时包含足够的信息，以确保用户能够直接获得所需答案。
• 定期更新：随着用户问题的变化和知识的更新，需要定期维护和更新知识库中的 Q & A 对。

通过Q & A分段模式，可以显著提升知识库的检索效果和用户体验，特别是在需要快速、准确回答用户问题的场景中。

持续更新ing