当前位置: 首页 > article >正文

传统数仓和clickhouse对比

背景

传统数仓一般都是Hive+SparkSql作为代表,不过也包括Kylin等,而clickhouse是实时OLAP的代表,我们简单看下他们的对比

传统数仓和clickhouse对比

Hive+SparkSQL的传统数仓:
1.数据更新速度慢,由于传统数仓一般都是基于HDFS构建的,数据更新也就意味着把数据写入HDFS文件中,由于大部分表数据的结构化做的比较差,比如都是基于String表示,所以写入性能很差,意味着数据更新速度非常慢
2.数据查询速度,基于SparkSql进行数据查询虽然可以利用spark基于内存的特点提高查询速度,但是总体上说这个查询速度还是太慢,不能支持实时查询的要求,为了支持实时查询的需求,一般会引入Kylin,也就是提前预计算,但是提前预计算的问题在于维度爆炸导致的数据膨胀问题,而这些数据会导致存储的大量占用或者浪费。

基于clickhouse的实时分析

1.数据更新速度中等,在ck中我们可以通过批量插入数据的方式来达到比较好的数据插入速度,当然比起OLTP来说,更新速度还是不足,但是通过分批的方式,达到每秒几万的数据插入速度还是可以做到的。
2.数据查询速度很快,这是ck最擅长的地方,可以在秒级别计算出各种维度的数据聚合的分析结果,而不需要进行预计算,自然也不需要浪费存储


http://www.kler.cn/a/147540.html

相关文章:

  • C++map和set(二)
  • 数据分析-48-时间序列变点检测之在线实时数据的CPD
  • Linux---常用shell脚本
  • 精华帖分享|浅谈金融时间序列分析与股价随机游走
  • ubuntu下openssl签名证书制作流程及验证demo
  • 谷歌Gemini发布iOS版App,live语音聊天免费用!
  • hnust信息安全管理试题
  • Java基础-中级-高级面试题汇(一)
  • 图形编辑器开发:快捷键的管理
  • 五、Lua流程控制与函数
  • Elasticsearch:ES|QL 查询中的元数据字段及多值字段
  • PHP定义的变量 常量 静态变量等储存在内存什么位置?
  • ESP32-Web-Server编程-HTML 基础
  • 适用于iOS 的顶级苹果数据恢复软件
  • 爬虫爬取百度图片、搜狗图片
  • JAVA将PDF转图片
  • java大视频在线预览(支持断点下载)
  • 超全超实用行业解决方案合集,覆盖十大行业数据应用需求
  • 基于Webserver的工业数据采集控制
  • 查swap内存使用
  • windows dockerdesktop 安装sqlserver2022
  • vue3中的customRef创建一个自定义的 ref对象
  • CCC联盟数字钥匙(一)——UWB MAC概述
  • barcode.js+elementUi——实现二维码的展示——基础积累
  • 21款奔驰GLE350升级迈巴赫踏板 老人小孩 上下车更加简单
  • Figma 插件学习(二)- 常用属性和方法