当前位置: 首页 > article >正文

Clickhouse使用总结

       使用记录。

        前段时间参与的项目主要采集大量的日志数据,进行各种的存储和分析,并产出可展示的数据,提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql,但当多种类型日志量急剧上升到千万级别之后,管理查询处理数据就会很慢,已无法满足需求。故查找解决方案,发现神器Clickhouse。

        经测试,Clickhouse并发支持率不高,实际在数据库并发连接20-30左右会出现崩溃现象,几分钟后自动重启,所以最好是少量的连接,只进行数据的插入和分析等操作。插入的效率很高,但及其占用cpu资源,服务器性能要求较高。

        单机数据量支持亿级别,目前项目中的日志,部分已超亿级甚至10亿级,同时关联其他如组织表用户表等进行多表关联及分组、排序等查询,仍可在几秒内进行处理完成,更复杂的sql能在20秒内执行完成,满足数据汇总需求。

        单机能满足大部分的需求,生产环境最好还是集群部署。

        1,cilckhouse简介

            参考:ClickHouse介绍

        2,clickhouse离线安装部署

            参考:Clickhouse在CentOS下离线安装并新建用户远程连接_clickhouse-server-19.17.10.1-1.el7.x86_64-CSDN博客

        3,clickhouse安装包下载地址

                Index of /clickhouse/rpm/stable/x86_64/

        4,备份  clickhouse-backup

                clickhouse-backup - 简书


http://www.kler.cn/a/149932.html

相关文章:

  • 【1】高并发导出场景下,服务器性能瓶颈优化
  • 98.2 AI量化开发:基于DeepSeek打造个人专属金融消息面-AI量化分析师(理论+全套Python代码)
  • 确保数据一致性:RabbitMQ 消息传递中的丢失与重复问题详解
  • leetCode刷题-图、回溯相关
  • 基于docker搭建Kafka集群,使用KRaft方式搭建,摒弃Zookeeper
  • Python基础知识:注释、变量以及数据类型、标识符和关键字、输入函数、输出函数、运算符、程序类型转换
  • 搜索与图论算法总结
  • 基于C#实现优先队列
  • Ubuntu上的常用软件配置
  • 人工智能与供应链行业融合:预测算法的通用化与实战化
  • 如何使用ArcGIS Pro制作一张北极俯视地图
  • 初识向量数据库
  • yolov4、yolov5优化策略
  • Vue基本使用(一)
  • [Docker]九.Docker compose讲解
  • AIGC:文本生成视频
  • 【笔记】windows+pytorch:部署一下stable diffusion和NeRF
  • C++ day44完全背包问题 零钱兑换Ⅱ 组合总和Ⅳ
  • C语言基础--#if与#endif
  • 深入了解Spring Boot中@Async注解的8大坑点
  • ISCTF2023 部分wp
  • 网络安全 | 使用人工智能阻止网络攻击
  • 微服务实战系列之Redis(cache)
  • 行情分析——加密货币市场大盘走势(11.29)
  • 七、Lua字符串
  • 工艺系统所管理数字化实践