当前位置: 首页 > article >正文

flink实战--如何基于java-agent技术上线收集任务流量功能

Agent实现Flink流动数据的监听


               一个Flink程序的运行,会依赖到一个或多个Connector(连接器),而这些连接器分为Source(主要用于读)和Sink(主要用于写),那么如果要监听到Flink作业流动的数据,我们这里可以简单尝试去查看支持Sink的Connector(例如:flink-connector-jdbc),看看 是否有实现一个公共的接口,然后对这个接口做监听,即可“读取”写入前的数据 ? 

再次经过一系列的代码review,博主发现基本所有的sink相关的Connector都继承了“org.apache.flink.api.common.io.OutputFormat”这个接口类,而这个接口类里面有个核心的方法(writeRecord),我们可以从这个方法作为监听的入口:

public interface OutputFormat<IT> extends Serializable {
    .....
    /**
     * Adds a record to the output.
     *
     * <p>When this method is called, the output format it guaranteed to be opened.
     *
    

http://www.kler.cn/a/303082.html

相关文章:

  • 字节跳动Android面试题汇总及参考答案(80+面试题,持续更新)
  • Vector Optimization – Stride
  • 数据挖掘(九)
  • 前端-同源与跨域
  • python高效处理大数据:将Excel10万数据分批插入MySQL数据库的实战代码
  • Redis高可用-主从复制
  • 向量——通俗地解释
  • 网络编程(UDP)
  • 详解贪心算法
  • STM32 如何生成随机数
  • CentOS 7下CX5-RDMA网络测试
  • 6年前倒闭的机器人独角兽,再次杀入AGV市场
  • Vue3+TS项目封装一个公共的el-table组件二次封装
  • ADB 之 logcat 极简小抄(过滤日志、保存日志到文件)
  • C++复习day11
  • 基于人工智能的自动驾驶系统项目教学指南
  • 【C++】STL容器-string的遍历
  • Android10源码刷入Pixel2以及整合GMS
  • 【python】python中非对称加密算法RSA实现原理与应用实战
  • Linux的历史,版本,Linux的环境安装、简单学习4个基本的Linux指令、创建普通用户等的介绍
  • android kotlin 基础复习 继承 inherit
  • 用AI的智慧,传递感恩之心——GPT-4o助力教师节祝福
  • ClickHouse 的底层架构和原理
  • 【最新华为OD机试E卷-支持在线评测】通过软盘拷贝文件(200分)多语言题解-(Python/C/JavaScript/Java/Cpp)
  • 密码测评三级相关项理解
  • 7 递归——206. 反转链表 ★