当前位置: 首页 > article >正文

Clickhouse使用总结

       使用记录。

        前段时间参与的项目主要采集大量的日志数据,进行各种的存储和分析,并产出可展示的数据,提供出接口等供其他项目和大屏进行展示。最开始项目中数据存储采用mysql,但当多种类型日志量急剧上升到千万级别之后,管理查询处理数据就会很慢,已无法满足需求。故查找解决方案,发现神器Clickhouse。

        经测试,Clickhouse并发支持率不高,实际在数据库并发连接20-30左右会出现崩溃现象,几分钟后自动重启,所以最好是少量的连接,只进行数据的插入和分析等操作。插入的效率很高,但及其占用cpu资源,服务器性能要求较高。

        单机数据量支持亿级别,目前项目中的日志,部分已超亿级甚至10亿级,同时关联其他如组织表用户表等进行多表关联及分组、排序等查询,仍可在几秒内进行处理完成,更复杂的sql能在20秒内执行完成,满足数据汇总需求。

        单机能满足大部分的需求,生产环境最好还是集群部署。

        1,cilckhouse简介

            参考:ClickHouse介绍

        2,clickhouse离线安装部署

            参考:Clickhouse在CentOS下离线安装并新建用户远程连接_clickhouse-server-19.17.10.1-1.el7.x86_64-CSDN博客

        3,clickhouse安装包下载地址

                Index of /clickhouse/rpm/stable/x86_64/

        4,备份  clickhouse-backup

                clickhouse-backup - 简书


http://www.kler.cn/news/149932.html

相关文章:

  • 搜索与图论算法总结
  • 基于C#实现优先队列
  • Ubuntu上的常用软件配置
  • 人工智能与供应链行业融合:预测算法的通用化与实战化
  • 如何使用ArcGIS Pro制作一张北极俯视地图
  • 初识向量数据库
  • yolov4、yolov5优化策略
  • Vue基本使用(一)
  • [Docker]九.Docker compose讲解
  • AIGC:文本生成视频
  • 【笔记】windows+pytorch:部署一下stable diffusion和NeRF
  • C++ day44完全背包问题 零钱兑换Ⅱ 组合总和Ⅳ
  • C语言基础--#if与#endif
  • 深入了解Spring Boot中@Async注解的8大坑点
  • ISCTF2023 部分wp
  • 网络安全 | 使用人工智能阻止网络攻击
  • 微服务实战系列之Redis(cache)
  • 行情分析——加密货币市场大盘走势(11.29)
  • 七、Lua字符串
  • 工艺系统所管理数字化实践
  • spark-submit
  • 靡靡之音 天籁之声 ——Adobe Audition
  • stm32 计数模式
  • Django路由分发
  • 荣耀IPO站上新起点:市场望眼欲穿,发展未来可期
  • Redis-Day1基础篇(初识Redis, Redis常见命令, Redis的Java客户端)
  • Sass基础知识之【变量】
  • 【送书活动二期】Java和MySQL数据库中关于小数的保存问题
  • Fuzz进阶教学——人工智能在模糊测试中的应用
  • Linux使用宝塔面板+Discuz+cpolar内网穿透工具搭建可公网访问论坛