当前位置: 首页 > article >正文

Clickhouse使用笔记

clickhouse官方文档:https://clickhouse.com/docs/zh/sql-reference/data-types/decimal
一,建表

create table acitivity_user_record
(
id String DEFAULT generateUUIDv4(), -- 主键自增
activityId String,
userId String,
userName Nullable(String),
phoneNumber Nullable(String),
companyName Nullable(String),
companyAddr Nullable(String),
`source` Nullable(String),
`platform` Nullable(String),
addDate UInt64,
addDateTime DateTime64(3)
)
engine = ReplacingMergeTree PARTITION BY activityId
PRIMARY KEY (id)
ORDER BY (id, addDateTime, activityId)
SETTINGS index_granularity = 8192;

(1)表引擎
ReplacingMergeTree 具有去重功能,数据存储在磁盘上
Memory引擎数据可能会重复,数据存储在内存中,查询会更快,但是数据容易丢失,如果服务器挂掉,数据就丢失了。
在idea使用表的拷贝功能,将表从一个库拷贝到另一个库的时候,表引擎自动变为memory,服务器重启数据就丢失了。
如果不指定PRIMARY KEY会把order by指定的字段作为主键
order by用于对分区内的数据进行排序

二,遇到的一些问题
1,语法上和mysql,sqlserver上有差异
1,分区字段,排序字段不支持update,只能删除再插入
2,Nullable类型的字符串字段,很多字符串的函数不能用,嗯,试试就知道了
3,clickhouse在进行算数运算和比较运算时默认会进行精度检查
例如decaimal类型相乘,
例如amout和tax_cost_price都是Decimal(18,6) 类型的,amout*tax_cost_price相乘之后小数部分位数会相加,变成Decimal(18,12),精度溢出报错
在这里插入图片描述
得先进行精度转换multiply(toDecimal64(sbd.amount, 5), toDecimal64(sbd.tax_cost_price, 5)
检查溢出会导致计算变慢。如果已知溢出不可能,则可以通过设置decimal_check_overflow来禁用溢出检查,在这种情况下,溢出将导致结果不正确,官方文档里描述的很详细,还有示例
4,clickhouse多表关联查询时性能很差,之前在查销售流向的时候使用了五张表进行关联查询,其中两张销售表的数据量特别大,进行关联聚合查询时执行了1分多钟,改为子查询之后执行时间只需要六七秒。
线上之前用sqlserver需要14~17s的查询,改成clickhouse只需要两三秒了,数据量是三千多万。


http://www.kler.cn/a/304847.html

相关文章:

  • Microsoft 365 Exchange如何设置可信发件IP白名单
  • 【OceanBase 诊断调优】—— ocp上针对OB租户CPU消耗计算逻辑
  • vue3+element-plus==> el-form输入响应式失效踩坑!!!!!!!!!!
  • VMware虚拟机安装Win7专业版保姆级教程(附镜像包)
  • 使用 Visual Studio Installer 彻底卸载 Visual Studio方法与下载
  • 词嵌入方法(Word Embedding)
  • Linux云计算 |【第三阶段】PROJECT1-DAY3
  • 若依后端正常启动但是uniapp移动端提示后端接口异常
  • 【已解决】SpringBoot3项目整合Druid依赖:Druid监控页面404报错
  • [leetcode-python]杨辉三角2
  • 打印自身的程序
  • 如何将自己的项目发布到Maven中央仓库
  • Java面试篇基础部分-Java内部类介绍
  • ruby和python哪个好学
  • 【C++知识扫盲】------C++ 中的引用入门
  • java项目之疫情下图书馆管理系统源码(springboot)
  • 【Canvas与表盘】蓝边黑底简约表盘
  • 前端-CDN的理解及CDN一些使用平台
  • Qt 实战(10)模型视图 | 10.3、模型数据索引
  • 【网络安全】漏洞挖掘:文件上传实现Webshell
  • Qt+FFmpeg开发视频播放器笔记(三):音视频流解析封装
  • 如何制作一个自己的外卖会员卡小程序?
  • 【AutoX.js】选择器 UiSelector - 查找包名
  • 基于Kubernetes部署Spark:spark on kubernetes
  • yaml配置文件(SpringBoot学习4)
  • Qt 实现自定义截图工具