当前位置：首页 > article >正文

Elasticsearch 集群如何进行读写限流？

article 2025/3/14 0:46:34

随着业务规模的扩大，Elasticsearch（以下简称 ES）集群面临的并发请求压力呈指数级增长。

高并发场景下，集群极易因资源耗尽导致性能雪崩，甚至触发级联故障。

本文将介绍如何通过极限网关的节点级流量控制功能，实现对 ES 集群的精准限流保护。

一、为什么需要节点级流量控制？

1.1 传统限流方案的局限性

E 原生的限流能力较为薄弱，开发者通常只能通过调整 bulk size、并发线程数等应用层参数进行间接控制。

——参考：https://elasticsearch.cn/question/11098

这种方式存在两个致命缺陷：

无法精确控制流量带宽：写入场景下突发的大文档可能瞬间打满网络。
缺乏全局视角：单个节点的过载可能引发集群级性能震荡。

1.2 节点级流量控制的价值

极限网关创新性地提出以节点为单位的立体化限流模型，通过四大核心参数实现多维度管控：

流量速率（QPS、带宽）
并发连接数
异常熔断机制
等待队列管理

官方文档地址：

https://docs.infinilabs.com/gateway/main/zh/docs/references/elasticsearch/

二、极限网关限流实战配置详解

2.1 基础架构示例（已验证ok）

elasticsearch:
-name:prod
enabled:true
endpoint:https://127.0.0.1:9200
basic_auth:
      username:elastic
      password:changeme
traffic_control:
      enabled:true
      max_qps_per_node:100     # 单节点每秒最大请求数（测试用）
      max_bytes_per_node:104857600# 单节点每秒100MB带宽
      max_connection_per_node:500   # 单节点最大连接数
      max_wait_time_in_ms:5000     # 超时等待5秒
      
entry:
-name:my_es_entry
    enabled:true
    router:my_router
    max_concurrency:10000
    network:
      binding:0.0.0.0:8000
    tls:
      enabled:true

-name:my_unsecure_es_entry
    enabled:true
    router:my_router
    max_concurrency:10000
    network:
      binding:0.0.0.0:8001
    tls:
      enabled:false

router:
-name:my_router

2.2 参数解析表

参数	类型	说明	生产环境建议值
`max_qps_per_node`	int	节点级请求速率天花板	根据节点规格动态计算
`max_bytes_per_node`	int	节点级带宽限制（字节）	网络带宽的70%-80%
`max_connection_per_node`	int	防止连接风暴	CPU核心数*200
`max_wait_time_in_ms`	int	排队最大等待时长	根据业务容忍度设置

三、高频问题解答

Q1：如何精确控制写入速率？

通过组合控制实现双重保障：

traffic_control:
  max_qps_per_node: 500       # 控制每秒批量操作次数
  max_bytes_per_node: 52428800 # 限制50MB/s写入带宽

这种组合策略既能防止高频小文档冲击，又能避免大文档突发传输。

Q2：限流触发后的处理策略？

网关提供智能队列管理（可参见如下官方提供参数）：

请求进入缓冲队列等待处理（最长5秒）
1. traffic_control.max_wait_time_in_ms 参数
  1. 作用：定义请求在缓冲队列中的最长等待时间。
  2. 默认值：10000 毫秒（10 秒）。
  3. 用户配置：若需设置最长 5 秒等待时间，需将此参数设为 5000。

2.超时请求返回429 Too Many Requests（可以自定义实现）

3.自动熔断异常节点（结合allow_access_when_master_not_found）

四、高级调优技巧

4.1 动态权重分配

为不同业务分配差异化配额（如下没有做验证）：

# 日志集群侧重吞吐量
-name:logs-cluster
traffic_control:
    max_bytes_per_node:209715200

# 交易集群侧重低延迟  
-name:order-cluster
traffic_control:
    max_qps_per_node:2000
    max_wait_time_in_ms:2000