当前位置： 首页 > article >正文

flink 自定义kudu connector中使用Metrics计数平均吞吐量，并推送到自定义kafkaReporter

article 2024/11/1 21:01:07

文章目录

    • 前言
    • 1. Registering metrics
    • 2. Metrics 的类型
      • 2.1 counter
      • 2.2 Gauge
      • 2.3 Histogram
      • 2.4 meter
    • 3. 指标划分
      • 3.1 指标所属的范围
      • 3.2 默认所属
    • 4. 自定义kudu connector中使用Metrics
      • 4.1 sink算子继承RichFunction
      • 4.2 注册指标
      • 4.3 计数逻辑
      • 4.4 自定义Reporter，推送metric到kafka
      • 4.5 结果展示

前言

   Flink exposes a metric system that allows gathering and exposing metrics to external systems

1. Registering metrics

  继承RichFunction，调用getRuntimeContext().getMetricGroup()

2. Metrics 的类型

2.1 counter

  计数器，累加或者累减

2.2 Gauge

  提供各种类型的值

2.3 Histogram

  表示度量值的统计结果，如平均值、最大值

2.4 meter

  表示平均吞吐量，单位时间内事件次数

3. 指标划分

3.1 指标所属的范围

在这里插入图片描述

3.2 默认所属

在这里插入图片描述

4. 自定义kudu connector中使用Metrics

4.1 sink算子继承RichFunction

在这里插入图片描述

4.2 注册指标

在这里插入图片描述

4.3 计数逻辑

  
ps：kudu写入实际指标包含2个，一个是每分钟流量，在try代码块中，一个是每分钟错误数量，在catch代码块中

4.4 自定义Reporter，推送metric到kafka

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
flink-conf.yaml配置注册的类和参数

4.5 结果展示

在这里插入图片描述


http://www.kler.cn/a/374901.html

相关文章：

  • 一篇文章带你快速上手MySQL中的各种函数的使用
  • 责任链模式：解耦请求处理的设计模式
  • Windows下基于fping进行批量IP测试
  • Python批量查找包含多个关键词的PDF文件
  • 深度学习基础知识-Batch Normalization（BN）超详细解析
  • Java中的JVM(Java虚拟机)是什么？
  • DDIM扩散模型的加速采样(去噪)算法 Denoising Diffusion Implicit Models
  • windows 11 配置 kafka 使用SASL SCRAM-SHA-256 认证
  • 操作符详解
  • Java第二阶段---15异常---第三节 自定义异常
  • 【智能算法应用】秃鹰搜索算法求解二维路径规划问题
  • 适合视频搬运的素材网站推荐——短视频素材下载宝库
  • DirectShow过滤器开发-写MP3音频文件过滤器（再写 写MP3）
  • 鸿蒙系统的优势 不足以及兼容性与未来发展前景分析
  • C++基础_类的基本理解
  • 『 Linux 』网络传输层 - TCP(二)
  • NLP算法工程师精进之路：顶会论文研读精华
  • Rust整合Elasticsearch
  • el-tree展开子节点后宽度没有撑开，溢出内容隐藏了，不显示横向滚动条
  • 使用LangChain控制大模型的输出——解析器Parser
  • 人工智能：塑造未来生活的强大力量
  • 计组-层次化存储结构
  • uniapp+vite配置环境变量
  • Docker | 将本地项目发布到阿里云的实现流程
  • 第3关：命题逻辑推理
  • TQ15EG开发板教程：fmcomms8两片ADRV9009同步采集测试