当前位置: 首页 > article >正文

关于数据mysql ->maxwell->kafka的数据传输

 


个人名片:
🐅作者简介:一名大三在校生,热爱生活,爱好敲码!
\ 💅个人主页 🥇:holy-wangle
➡系列内容: 🖼️ tkinter前端窗口界面创建与优化
🖼️ Java实现ATP小系统
✨个性签名: 🍭不积跬步,无以至千里;不积小流,无以成江海 


         今天我们聊聊如何使用maxwell监控mysql的数据改变,然后将数据传输到kafka的过程。

        首先我们是不是要有mysql,maxwell,kafka的环境吧!环境我就默认各位都部署好了。

        第一步:配置maxwell的bin目录下的config.properties(刚安装的时候这个文件叫config.properties.example,我这里把这个文件改名了)

        添加一下内容:

log_level=info

producer=kafka
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092

#kafka topic配置
kafka_topic=topic_db

# mysql login info
host=hadoop102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai

        保存退出!

        然后在hadoop103的节点启动消费者模式,命令是:

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topic_db

        跟着我们在hadoop102节点上面启动maxwell,要有maxwell进程才行哦!然后输入命令:

/opt/software/maxwell/bin/maxwell-bootstrap --database gmall --table user_info --config /opt/software/maxwell/config.properties 

        我这里是获取mysql中gmall.user_info表中的数据进来消费。

下面是图示:

        

 


 


感谢各位的观看,创作不易,能不能给哥们来一个点赞呢!!!

好了,今天的分享就这么多了,有什么不清楚或者我写错的地方,请多多指教!

私信,评论我呗!!!!!!

关注我下一篇不迷路哦!


http://www.kler.cn/a/131805.html

相关文章:

  • 【入门篇】1.2 Redis 客户端之 Jedis 详解和示例
  • 248: vue+openlayers 以静态图片作为底图,并在上面绘制矢量多边形
  • 索引三星结构
  • Qt调起Mac“系统设置”面板
  • centos7 killall命令安装、使用
  • 简单漂亮的首页
  • C# 实时监控双门双向门禁控制板源码
  • K8S1.23.5部署(此前1.17版本步骤囊括)及问题记录
  • eclipse启动无法找到类(自定义监听器)
  • cvf_使用lora方法增强能力
  • 希亦ACE和小吉内衣洗衣机选哪个?两款洗衣机对比
  • Fabric多机部署启动节点与合约部署
  • 【2022改良版】学法减分助手PRO小程序源码
  • docker 部署日志平台出错汇总
  • 腾讯云4核8G服务器性能如何多少钱一年?
  • C语言编程陷阱(五)
  • go test 命令详解
  • 【OpenCV实现图像:OpenCV进行OCR字符分割】
  • 降低城市内涝风险,万宾科技内涝积水监测仪的作用
  • vim模式用法总结