当前位置: 首页 > article >正文

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介

       未来Flink通用化,代码可能就会转换为sql进行执行,大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台,去提交FlinkSQL实现任务,学习Flinksql势在必行。

       本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作,这个在生产开发中比较常用,通常生产用kafka作为数据的输入,本例子Flink版本1.13.6,具体操作如下:

创建mysql测试目标表

下面是创建mysql测试目标表的例子

CREATE TABLE `kafka_target` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '自增ID',
`name` varchar(64) DEFAULT NULL COMMENT '姓名',
`create_time` datetime  COMMENT '创建时间',
PRIMARY KEY (`id`)

ENGINE = InnoDB;

创建kafka的topic

 /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.0.1:9092 --replication-factor 1 --partitions 1 --topic mysqlsource

 可执行FlinkSQL(sql-client中执行)

注意在执行Fli


http://www.kler.cn/a/233608.html

相关文章:

  • SHELL脚本(Linux)
  • Microsoft 365 Exchange如何设置可信发件IP白名单
  • Fastapi使用MongoDB作为数据库
  • 不对称信息
  • 「Mac玩转仓颉内测版7」入门篇7 - Cangjie控制结构(下)
  • 万字长文分析函数式编程
  • 微信小程序,IOS兼容日期格式问题,注意ios高低版本兼容性不一致
  • 【QT+QGIS跨平台编译】之二十八:【Protobuf+Qt跨平台编译】(一套代码、一套框架,跨平台编译)
  • 第62讲商品搜索动态实现以及性能优化
  • python实现基数排序
  • 苹果macbook电脑删除数据恢复该怎么做?Mac电脑误删文件的恢复方法
  • 物资捐赠管理系统
  • 8种基本类型的包装类(与String的转换)
  • 降准是什么意思?降准对股市有哪些影响?
  • 第70讲axios后端请求工具类封装
  • MySQL单主模式部署组复制集群
  • 机器学习聚类算法
  • Collectors.toMap
  • MySQL基础查询篇(9)-数学函数在查询中的应用
  • Linux中的numactl命令指南
  • 代码随想录算法训练营day15||二叉树part02、102.二叉树的层序遍历、 226.翻转二叉树(优先掌握递归)、101. 对称二叉树 (优先掌握递归)
  • MATLAB实现随机森林回归算法
  • 会声会影绿幕抠图操作方法 会声会影绿幕抠图有绿色残边 绿幕抠图视频有绿边怎么处理 抖音怎么剪辑视频 视频剪辑软件推荐
  • Linux 设置自动挂载磁盘
  • LabVIEW伺服阀性能参数测试
  • VitePress-13- 配置-title的作用详解