当前位置: 首页 > article >正文

flume采集netcat数据到kafka指定主题

在主节点使用Flume采集实时数据生成器25001端口的socket数据(实时数据生成器脚本为主节点/data_log目录下的gen_ds_data_to_socket脚本,该脚本为Master节点本地部署且使用socket传输),将数据存入到Kafka的Topic中(Topic名称为ods_mall_log,分区数为2,ZK关于Kafka的信息在其/kafka节点),使用Kafka自带的消费者消费ods_mall_log(Topic)中的数据,查看Topic中的前1条数据的结果,

Flume配置

a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=8087

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic=ods_mall_log
a1.sinks.k1.kafka.bootstrap.servers=master:9092


a1.channels.c1.type=memory

a1.sinks.k1.channel=c1
a1.sources.r1.channels=c1

kafka 消费数据

 kafka-console-consumer.sh --bootstrap-server master:9092  --topic ods_mall_log  --from-beginning --max-messages 1

http://www.kler.cn/a/392941.html

相关文章:

  • 【Linux】:线程安全 + 死锁问题
  • 高仿CSDN编辑器,前端博客模板
  • 在 Vue3 项目中实现计时器组件的使用(Vite+Vue3+Node+npm+Element-plus,附测试代码)
  • 7. petalinux 根文件系统配置(package group)
  • STM32-笔记17-PWM波型
  • Qt使用QZipWriter和QZipReader来解压、压缩文件
  • docker更改数据目录
  • ⚙️ 如何调整重试策略以适应不同的业务需求?
  • sql中对象名称要加_的作用
  • PTE-中间件安全
  • aws xray通过设置采样规则对请求进行过滤
  • 算法学习第二弹——STL库学习 之 vector
  • q8:docker build构建镜像 yum -y install vim报错
  • Unity图形学之Shader2.0 模板测试
  • JSqlParser、JavaCC实操
  • Unity图形学之Shader灯光的设置
  • FPGA实现串口升级及MultiBoot(五)通过约束脚本添加IPROG实例
  • 【深圳大学】数据结构A+攻略(计软版)
  • Modbus TCP 西门子PLC与 多个设备进行通讯 使用Modbus Slave模拟多个设备ID
  • 1、使用vscode+eide+stm32cubeMx开发stm32
  • 基于迭代重加权最小二乘法的算法及例程
  • AR、VR、MR、XR - 20241110
  • 简单叙述 Spring Boot 启动过程
  • java八股笔记-1-java基础
  • Vue常用加密方式
  • CRMEB Pro版v3.1源码全开源+PC端+Uniapp前端+搭建教程