ClickHouse总结

背景

OLAP（联机分析处理） 是一种用于在大规模数据集上进行复杂分析的数据处理方法。与OLTP（联机事务处理）系统专注于支持日常业务交易和操作不同，OLAP系统旨在提供对多维数据的快速、灵活的查询和分析能力。

OLAP场景有以下关键的特征：

主要读请求： 数据库主要用于读取操作，而写入操作相对较少。
大批量更新： 更新操作通常以相当大的批次进行，而非单行更新，并且可能是禁止或较少进行的。
不可修改的数据： 一旦数据添加到数据库，就不能修改。
大量列的宽表： 数据表包含大量列，可能是宽表结构。
查询少，但复杂： 查询数量相对较少，但每个查询可能涉及提取大量行的一小部分列，且查询可能是复杂的。
允许一定的延迟： 对于简单查询，可以接受一定的延迟，约50毫秒。
小型数据： 列中的数据相对较小，包括数字和短字符串。
高吞吐量： 需要处理单个查询时的高吞吐量，每秒可达数十亿行。
非必须事务： 对事务的要求不高，即可容忍一些数据不一致性。
低数据一致性要求： 数据一致性的要求相对较低。
每个查询有一个大表： 通常每个查询涉及一个大表，而其他表规模较小。
结果适合RAM： 查询结果通常经过过滤或聚合，适合于单个服务器的RAM中。

ClickHouse是什么

ClickHouse 是一个用于 联机分析(OLAP) 的 列式 数据库管理系统(DBMS)。

要用于大规模数据分析的领域，特别是在需要处理海量数据并执行复杂查询的场景中表现出色。以下是一些主要的应用领域：

• 在线广告分析： ClickHouse可以用于分析在线广告的效果，处理大量的点击数据和用户行为，以优化广告投放策略。
• 日志分析： 处理大量的日志数据是ClickHouse的一项强项。它可以用于分析服务器日志、应用程序日志等，帮助识别潜在问题、监控系统性能等。
• 电商数据分析： 针对电子商务平台的大量交易和用户行为数据进行分析，包括销售趋势、用户行为模式等。
• 大数据仪表盘： ClickHouse可以支持创建实时或准实时的大数据仪表盘，用于监控业务指标、数据可视化等。
• 科学研究： 在科学研究领域，特别是需要分析大规模实验数据的情境下，ClickHouse可以用于加速数据处理和分析过程。
• 物联网（IoT）数据分析： 处理大量的物联网设备生成的数据，用于监测、预测和优化物联网系统。

ClickHouse的优缺点

以下是ClickHouse的一些优点：

尽管ClickHouse在大规模数据分析和OLAP场景中表现出色，但仍然有一些潜在的限制和不足，这取决于具体的使用场景和需求。以下是一些ClickHouse可能存在的不足之处：

表引擎

ClickHouse的表引擎 定义了数据表的物理存储结构和访问方法，ClickHouse支持多种表引擎，其中一些常见的引擎包括MergeTree系列、Log系列、外部引擎、其它引擎等。

运行机制

以下是 ClickHouse 更为运行机制的详细描述：

1. 表的创建与结构定义：用户通过 SQL 语句在 ClickHouse 中创建表，并定义表的结构，包括列的数据类型、分区方式、索引等。每个表都与一个特定的表引擎关联，决定了数据的存储方式和处理特性。
2. 列式存储：ClickHouse 使用列式存储引擎，将相同列的数据存储在一起。这样的存储方式带来了高压缩比和更高的查询性能，尤其适用于大规模数据分析。
3. 数据分区：表可以根据指定的字段进行分区，常见的是按照时间进行分区。分区有助于提高查询性能，允许系统更快速地定位和处理特定时间范围内的数据。
4. 数据插入与合并：当用户插入新的数据时，数据首先会进入 MergeTree 引擎的“暂存区”（MergeTree 小分区），然后根据配置的合并策略，定期进行数据合并操作。合并操作有助于优化数据存储和提高查询性能。
5. 索引的使用：ClickHouse 支持主键索引和辅助索引，提高了查询速度。主键索引用于快速定位唯一行，而辅助索引用于其他查询条件。
6. 异步写入：ClickHouse 支持异步写入，插入操作是非常快速的。写入的数据首先进入 MergeTree 引擎的不同分区，然后可以通过周期性的合并操作进行整理。
7. 分布式计算：如果运行在分布式集群中，ClickHouse 可以在多个节点上并行执行查询。Distributed 引擎用于在多个 ClickHouse 节点之间执行分布式查询，将查询分发到集群中的多个节点，并将结果合并返回。
8. 数据副本和高可用性：ReplicatedMergeTree 引擎支持数据在多个副本之间的复制，提高数据的冗余和高可用性。在集群中的节点之间可以实现故障转移，保障数据的可靠性。
9. 查询处理和优化：当执行查询时，ClickHouse 使用内置的优化器和执行引擎，根据查询的结构和表的分布情况进行优化，以提高查询性能。
10. 异步更新和删除：ClickHouse 支持异步更新和删除操作。通过 ReplicatedMergeTree 引擎的版本控制机制，可以实现在表中执行条件更新和删除。
11. 数据压缩：列式存储以及支持多种压缩算法，帮助减小存储占用，提高 I/O 效率。

编译和运行ClickHouse

ARG OS_VER=22.04
ARG OS_IMAGE=ubuntu

FROM ${OS_IMAGE}:${OS_VER}

RUN apt-get update && apt-get install -y \
    git cmake wget curl ccache nasm yasm ninja-build lsb-release wget software-properties-common gnupg

WORKDIR /root

# Clang
ARG CLANG_VER=17
ARG CLANG_REPO=https://apt.llvm.org
RUN wget ${CLANG_REPO}/llvm.sh \
    && sed -i 's/add-apt-repository "${REPO_NAME}"/add-apt-repository -y "${REPO_NAME}"/g' llvm.sh \
    && chmod +x llvm.sh \
    && ./llvm.sh ${CLANG_VER}
ENV CC=clang-${CLANG_VER}
ENV CXX=clang++-${CLANG_VER}

# Clickhouse
ARG CLICKHOUSE_VER=v24.8.2.3-lts
ARG CLICKHOUSE_REPO=https://github.com/ClickHouse/ClickHouse.git
RUN git clone ${CLICKHOUSE_REPO} \
    && cd ClickHouse \
    && git checkout -b ${CLICKHOUSE_VER} ${CLICKHOUSE_VER} \
    && git submodule update --init \
    && mkdir build \
    && cmake -S . -B build \
    && cmake --build build --target clickhouse

#!/bin/bash

docker build --build-arg https_proxy --build-arg http_proxy --build-arg no_proxy -f Dockerfile -t clickhouse_build .
docker create --name temp-clickhouse-build clickhouse_build
docker cp temp-clickhouse-build:/root/ClickHouse/build/programs/clickhouse ./
docker rm temp-clickhouse-build

config.xml

<!-- This file was generated automatically.
     Do not edit it: it is likely to be discarded and generated again before it's read next time.
     Files used to generate this file:
       config.xml      -->

<!-- Config that is used when server is run without config file. -->
<clickhouse>
    <logger>
        <level>trace</level>
        <log>./clickhouse-server.log</log>
    </logger>

    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>
    <mysql_port>9004</mysql_port>
    <listen_host>0.0.0.0</listen_host>

    <path>/tmp/clickhouse</path>
    <mlock_executable>true</mlock_executable>

    <users>
        <me>
            <password>changeme</password>
            <profile>default</profile>
            <quota>default</quota>
            <access_management>1</access_management>
            <named_collection_control>1</named_collection_control>
        </me>
    </users>

    <profiles>
        <default/>
    </profiles>

    <quotas>
        <default/>
    </quotas>
</clickhouse>

运行Click House：

BASE_DIR=$(pwd) && taskset -c 84-89,196-201 ./clickhouse server -C ${BASE_DIR}/config.xml --daemon

参考

clickhouse学习笔记（四）库、表、分区相关DDL操作_clickhouse创建数据库-CSDN博客

Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘-腾讯云开发者社区-腾讯云