FastGPT 引申：借鉴 FastGPT 基于MySQL + ES 实现知识库（含表结构以及核心代码）

FastGPT 引申：借鉴 FastGPT 基于MySQL + ES 实现知识库（含表结构以及核心代码）

一、整体思路

• 知识库查询能力：引入 Elasticsearch (ES) 提供向量存储和检索能力。
• 三层逻辑结构：
  • 数据集：使用模块 ID 关联应用。
  • 数据：存储具体的知识内容。
  • 索引：提供高效的查询能力。

二、存储结构

2.1 MySQL 表结构

(1) knowledge_base_dataset

存储数据集基本信息

(2) knowledge_base_data

存储具体知识数据项

(3) knowledge_base_index

存储索引项

(4) ai_kb_relation

存储数据集与应用关联

2.2 Elasticsearch Mapping 结构

(1) ES索引

存储知识数据的向量索引：ai_knowledge

{
  "mappings": {
    "properties": {
      "data_id": {
        "type": "long",
        "index": true
      },
      "index_id": {
        "type": "long",
        "index": true
      },
      "dataset_id": {
        "type": "long",
        "index": true
      },
      "vector_index": {
        "type": "dense_vector",
        "dims": 1024,
        "index": true,
        "similarity": "cosine"
      },
      "text_index": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

(2) 字段说明

三、代码实现

3.1 调用 Embedding 服务

public List<Float> getVector(String text) {
    ResponseEntity responseEntity = xxxx;
    if (responseEntity != null && responseEntity.getCode() == 0) {
        List<List<Double>> vectorList = (List<List<Double>>) responseEntity.getData();
        if (vectorList != null && !vectorList.isEmpty()) {
            return vectorList.get(0).stream()
                    .map(Double::floatValue)
                    .collect(Collectors.toList());
        }
    }
    return null;
}

3.2 向量检索（ES KNN 查询）

public List<Knowledge> searchByVector(List<Float> vector) throws IOException {
    log.info("Searching knowledge with vector similarity using KNN");
    try {
        return client.search(s -> s
            .index(INDEX_NAME)
            .knn(k -> k
                .field("vector_index")
                .queryVector(vector)
                .k(DEFAULT_SIZE)
                .numCandidates(100)
            ),
            Knowledge.class
        ).hits().hits().stream()
            .map(Hit::source)
            .collect(Collectors.toList());
    } catch (Exception e) {
        log.error("Error searching knowledge by vector: {}", e.getMessage(), e);
        throw e;
    }
}

3.3 RRF 排序（融合向量检索和文本检索结果）

private Map<String, Double> calculateRRFScores(
        List<Hit<KnowledgeCommon>> vectorHits,
        List<Hit<KnowledgeCommon>> textHits) {

    Map<String, Double> rrfScores = new HashMap<>();
    int rank = 1;
    for (Hit<KnowledgeCommon> hit : vectorHits) {
        String id = hit.id();
        double score = VECTOR_WEIGHT * (1.0 / (rank + RRF_CONSTANT));
        rrfScores.put(id, rrfScores.getOrDefault(id, 0.0) + score);
        rank++;
    }

    rank = 1;
    for (Hit<KnowledgeCommon> hit : textHits) {
        String id = hit.id();
        double score = TEXT_WEIGHT * (1.0 / (rank + RRF_CONSTANT));
        rrfScores.put(id, rrfScores.getOrDefault(id, 0.0) + score);
        rank++;
    }

    return rrfScores;
}

四、总结

• 采用 MySQL 存储基础数据，ES 存储向量及文本索引。
• ES 结合 KNN 和分词搜索进行知识检索。
• 使用 RRF 算法融合向量和文本搜索结果，提高查询质量。

此方案支持灵活的知识管理和高效检索，可扩展至更大规模的知识库应用。