当前位置: 首页 > article >正文

flink写入es的参数解析

        ElasticsearchSink内部使用BulkProcessor一次将一批动作(ActionRequest)发送到ES集群。在发送批量动作前,BulkProcessor先缓存,再刷新。缓存刷新的间隔,支持基于Action数量、基于Action大小、基于时间间隔3种策略。BulkProcessor支持在同一次Bulk中有多种ActionRequest(如: IndexRequest、DeleteRequest、UpdateRequest)等等。

bulk.flush.max.actions: 默认1000。每个Bulk请求,最大缓冲Action个数。
bulk.flush.max.size.mb: 默认5mb。每个Bulk请求,最大缓冲的Action大小。
bulk.flush.interval.ms: 默认为空,单位毫秒。Bulk刷新间隔。不论Action个数或Action大小如何设置,到刷新间隔了,就会刷新缓冲,发起Bulk请求。

延迟重试策略: 默认启用指数级间隔重试策略,初始等待50ms,8次重试。如需自定义延迟重试策略,可通过以下参数配置。
bulk.flush.backoff.enable: 延迟重试是否启用。
bulk.flush.backoff.type: 延迟重试类型,CONSTANT(固定间隔)或EXPONENTIAL(指数级间隔)。
bulk.flush.backoff.delay: 延迟重试间隔。对于CONSTANT类型,此值为每次重试间的间隔;对于EXPONENTIAL,此值为初始延迟。
bulk.flush.backoff.retries: 延迟重试次数。


http://www.kler.cn/a/228711.html

相关文章:

  • NotebookLM:Google 最新 AI 笔记助理解析与实战应用
  • WPF 实现可视化操作数据库的程序全解析
  • 华为HuaweiCloudStack(一)介绍与架构
  • 二叉树总结(hot100)
  • Docker 镜像加速的配置
  • 玩转大语言模型——使用graphRAG+Ollama构建知识图谱
  • PyTorch识别验证码
  • 【云原生kubernetes系列】---亲和与反亲和
  • docker更换镜像源
  • Vue 实现动态路由
  • 恒创科技:服务器内存不足影响大吗?
  • MySQL存储引擎、事务、锁、日志
  • 异地办公必不可缺的远程控制软件,原理到底是什么?
  • docker 的常用命令
  • C#入门及进阶教程|C#基本语法(五):控制台应用程序与格式化输出
  • 乐意购项目前端开发 #6
  • WordPress主题YIA如何将首页的置顶小工具改为站长推荐小工具?
  • 【Linux】解决:为什么重复创建同一个【进程pid会变化,而ppid父进程id不变?】
  • CTFHUB SSRF POST小记
  • 2024最新版Sublime Text 4安装使用指南
  • VLM 系列——MoE-LLaVa——论文解读
  • 《Python 网络爬虫简易速速上手小册》第1章:Python 网络爬虫基础(2024 最新版)
  • Palworld幻兽帕鲁自建服务器32人联机开黑!
  • layui
  • AI专题:海外科技巨头指引,AI主线逻辑依旧坚挺
  • MySQL学习记录——삼 库的操作