当前位置: 首页 > article >正文

flink 批量写clickhouse

idea maven 依赖

<dependency>
<groupId>ru.yandex.clickhouse</groupId>
<artifactId>clickhouse-jdbc</artifactId>
<version>0.2.4</version>
</dependency>

val clickhouseUri = "jdbc:clickhouse://host:8123/aso?user=root&password=XXX" 

val table =""

processed.addSink(
JdbcSink.sink(
"insert into $table values(?,?)",
CKSinkBuilder(),
JdbcExecutionOptions.Builder()
.withBatchIntervalMs(20000)  
.withBatchSize(20000).build(),  //20s一批或20000条数据,那个先达到都执行sink
JdbcConnectionOptions.JdbcConnectionOptionsBuilder()
.withUrl(clickhouseUri)
.withDriverName("ru.yandex.clickhouse.ClickHouseDriver")
.build()
)
)
 

class CKSinkBuilder : JdbcStatementBuilder<DemoData> {
override fun accept(ps: PreparedStatement, v: DemoData) {
ps.setLong(1, v.ts!!)
ps.setSTring(2, v.data!!)

//还有其他字段接着set ps.setSTring(3, v.XXX!!)
}
}

class DemoData{
var ts: Long? = null
var data: String? = null
}


http://www.kler.cn/news/311975.html

相关文章:

  • SQL 查询语句汇总
  • 金砖软件测试赛项之Jmeter如何录制脚本!
  • 算法训练——day18 两数之和三数之和
  • 力扣春招100题——队列
  • Acwing 堆
  • 【QT】基于HTTP协议的网络应用程序
  • docker构建java镜像,运行镜像出现日志 no main manifest attribute, in /xxx.jar
  • 大模型-模型架构-新型模型架构
  • 程序员常用开发软件集合
  • AirTest 基本操作范例和参数解释(一)
  • 第157天: 安全开发-Python 自动化挖掘项目SRC 目标FOFA 资产Web 爬虫解析库
  • 缓存穿透 问题(缓存空对象)
  • C++ 中std::promise和std::future基本使用
  • OpenCV基础入门30讲(Python)——第二讲 图像色彩转换
  • 卷积参数量计算公式
  • GO主流开源框架
  • python测试开发---js基础
  • 网工请注意!华为认证笔试考试系统升级公告!
  • Matlab Delany-Bazley和Miki模型预测多孔材料吸声性能
  • pprof简单使用
  • 五、I/O与网络编程-5.2、网络编程
  • 全国各省山峰分布SHP数据
  • 【深度学习】(3)--损失函数
  • git使用“保姆级”教程1——简介及配置项设置
  • Kafka基础概念
  • Vivado FIR IP 详解 (一)
  • yolo车位数据集
  • MATLAB 图像处理入门详解
  • 油烟机制造5G智能工厂物联数字孪生平台,推进制造业数字化转型
  • 2.计算机网络基础