当前位置：首页 > article >正文

面试题：千万量级数据中查询 10W 量级的数据有什么方案？

article 2024/11/15 9:11:21

文章目录

前言
初版设计方案
- 整体方案设计为：
- 技术方案如下：
- CK 分页查询
- 使用 ES Scroll Scan 优化深翻页
- - 耗时数据
- ES+Hbase 组合查询方案
- - ES 查询的两个阶段
  - 组合使用 Hbase
- RediSearch+RedisJSON 优化方案
- - RediSearch 性能数据
  - RedisJSON 性能数据
总结

前言

在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过 10W 的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现 3 次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍。

对“千万量级数据中查询 10W 量级的数据”设计了如下方案：

多线程+CK 翻页方案
ES scroll scan 深翻页方案
ES+Hbase 组合方案
RediSearch+RedisJSON 组合方案

初版设计方案

整体方案设计为：

先根据配置的「筛选规则」，从底池表中筛选出「目标数据」
在根据配置的「排序规则」，对「目标数据」进行排序，得到「结果数据」

技术方案如下：

①每天运行导数任务，把现有的千万量级的底池数据（Hive 表）导入到 Clickhouse 中，后续使用 CK 表进行数据筛选。

②将业务配置的筛选规则和排序规则，构建为一个「筛选 + 排序」对象 SelectionQueryCondition。

③从 CK 底池表取「目标数据」时，开启多线程，进行分页筛选，将获取到的「目标数据」存放到 result 列表中。

//分页大小  默认 5000    
int pageSize = this.getPageSize();    
//页码数    
int pageCnt = totalNum / this.getPageSize() + 1;    
    
List<Map<String, Object>> result = Lists.newArrayList();    
List<Future<List<Map<String, Object>>>> futureList = new ArrayList<>(pageCnt);    
    
//开启多线程调用    
for (int i = 1; i <= pageCnt; i++) {    
    //将业务配置的筛选规则和排序规则 构建为 SelectionQueryCondition 对象    
    SelectionQueryCondition selectionQueryCondition = buildSelectionQueryCondition(selectionQueryRuleData);    
    selectionQueryCondition.setPageSize(pageSize);    
    selectionQueryCondition.setPage(i);    
    futureList.add(selectionQueryEventPool.submit(new QuerySelectionDataThread(selectionQueryCondition)));    
}    
    
    
for (Future<List<Map<String, Object>>> future : futureList) {    
    //RPC 调用    
    List<Map<String, Object>> queryRes = future.get(20, TimeUnit.SECONDS);    
    if (CollectionUtils.isNotEmpty(queryRes)) {    
        // 将目标数据存放在 result 中    
        result.addAll(queryRes);    
    }    
}

④对目标数据 result 进行排序，得到最终的「结果数据」。

CK 分页查询

在「初版设计方案」章节的第 3 步提到了「从 CK 底池表取目标数据时，开启多线程，进行分页筛选」。此处对 CK 分页查询进行介绍。

①封装了 queryPoolSkuList 方法，负责从 CK 表中获得目标数据。该方法内部调用了 sqlSession.selectList 方法。

public List<Map<String, Object>> queryPoolSkuList( Map<String, Object> params ) {    
    List<Map<String, Object>> resultMaps = new ArrayList<>();    
    
    QueryCondition queryCondition = parseQueryCondition(params);    
    List<Map<String, Object>> mapList = lianNuDao.queryPoolSkuList(getCkDt(),queryCondition);    
    if (CollectionUtils.isNotEmpty(mapList)) {    
        for (Map<String,Object> data : mapList) {    
            resultMaps.add(camelKey(data));    
        }    
    }    
    return resultMaps;    
}

// lianNuDao.queryPoolSkuList    
    
@Autowired    
@Qualifier("ckSqlNewSession")    
private SqlSession sqlSession;    
    
public List<Map<String, Object>> queryPoolSkuList( String dt, QueryCondition queryCondition ) {    
    queryCondition.setDt(dt);    
    queryCondition.checkMultiQueryItems();    
    return sqlSession.selectList("LianNu.queryPoolSkuList",queryCondition);    
}

②sqlSession.selectList 方法中调用了和 CK 交互的 queryPoolSkuList 查询方法，部分代码如下：

<select id="queryPoolSkuList" parameterType="com.jd.bigai.domain.liannu.QueryCondition" resultType="java.util.Map">    
    select sku_pool_id,i    
    tem_sku_id,    
    skuPoolName,    
    price,    
    ...    
    ...    
    businessType    
    from liannu_sku_pool_indicator_all    
    where    
    dt=#{dt}    
    and    
    <foreach collection="queryItems" separator=" and " item="queryItem" open=" " close=" " >    
        <choose>    
            <when test="queryItem.type == 'equal'">    
                ${queryItem.field} = #{queryItem.value}    
            </when>    
            ...    
            ...    
        </choose>    
    </foreach>    
    <if test="orderBy == null">    
        group by sku_pool_id,item_sku_id    
    </if>    
    <if test="orderBy != null">    
        group by sku_pool_id,item_sku_id,${orderBy} order by ${orderBy} ${orderAd}    
    </if>    
    <if test="limitEnd != 0">    
        limit #{limitStart},#{limitEnd}    
    </if>    
</select>

③可以看到，在 CK 分页查询时，是通过 limit #{limitStart}，#{limitEnd} 实现的分页。

limit 分页方案，在「深翻页」时会存在性能问题。初版方案上线后，在 1000W 量级的底池数据中筛选 10W 的数据，最坏耗时会达到 10s~18s 左右。

使用 ES Scroll Scan 优化深翻页

对于 CK 深翻页时候的性能问题，进行了优化，使用 Elasticsearch 的 scroll scan 翻页方案进行优化。

ES 的翻页方案

ES 翻页，有下面几种方案：

from + size 翻页
scroll 翻页
scroll scan 翻页
search after 翻页

对上述几种翻页方案，查询不同数目的数据，耗时数据如下表：

耗时数据

此处，分别使用 Elasticsearch 的 scroll scan 翻页方案、初版中的 CK 翻页方案进行数据查询，对比其耗时数据。

如上测试数据，可以发现，以十万，百万，千万量级的底池为例：

底池量级越大，查询相同的数据量，耗时越大
查询结果 3W 以下时，ES 性能优；查询结果 5W 以上时，CK 多线程性能优

ES+Hbase 组合查询方案

在「使用 ES Scroll Scan 优化深翻页」中，使用 Elasticsearch 的 scroll scan 翻页方案对深翻页问题进行了优化，但在实现时为单线程调用，所以最终测试耗时数据并不是特别理想，和 CK 翻页方案性能差不多。
在调研阶段发现，从底池中取出 10W 的目标数据时，一个商品包含多个字段的信息（CK 表中一行记录有 150 个字段信息），如价格、会员价、学生价、库存、好评率等。

对于一行记录，当减少获取字段的个数时，查询耗时会有明显下降。如对 sku1的商品，从之前获取价格、会员价、学生价、亲友价、库存等 100 个字段信息，缩减到只获取价格、库存这两个字段信息。

如下图所示，使用 ES 查询方案，对查询同样条数的场景（从千万级底池中筛选出 7W+ 条数据），获取的每条记录的字段个数从 32 缩减到 17，再缩减到 1个（其实是两个字段，一个是商品唯一标识 sku_id，另一个是 ES 对每条文档记录的 doc_id）时，查询的耗时会从 9.3s 下降到 4.2s，再下降到 2.4s。

从中可以得出如下结论：

一次 ES 查询中，若查询字段和信息较多，fetch 阶段的耗时，远大于 query 阶段的耗时。
一次 ES 查询中，若查询字段和信息较多，通过减少不必要的查询字段，可以显著缩短查询耗时。
下面对结论中涉及的 query 和 fetch 查询阶段进行补充说明。

ES 查询的两个阶段

在 ES 中，搜索一般包括两个阶段：

query 阶段：根据查询条件，确定要取哪些文档（doc），筛选出文档 ID（doc_id）
fetch 阶段：根据 query 阶段返回的文档 ID（doc_id），取出具体的文档（doc）

组合使用 Hbase

在《ES 亿级数据检索优化，三秒返回突破性能瓶颈》一文调研的基础上，发现「减少不必要的查询展示字段」可以明显缩短查询耗时。

沿着这个优化思路，设计了一种新的查询方案：

ES 仅用于条件筛选，ES 的查询结果仅包含记录的唯一标识 sku_id（其实还包含 ES 为每条文档记录的 doc_id）
Hbase 是列存储数据库，每列数据有一个 rowKey。利用 rowKey 筛选一条记录时，复杂度为 O(1)。（类似于从 HashMap 中根据 key 取 value）
根据 ES 查询返回的唯一标识 sku_id，作为 Hbase 查询中的 rowKey，在 O(1) 复杂度下获取其他信息字段，如价格，库存等