Flink CDC系列之：学习理解standalone模式

独立模式是 Flink 最简单的部署模式。本简短指南将向您展示如何下载、安装和运行 Flink 的最新稳定版本。
您还将运行一个示例 Flink CDC 作业并在 Web UI 中查看它。

准备工作

Flink 可在所有类 UNIX 环境中运行，即 Linux、Mac OS X 和 Cygwin（适用于 Windows）。

可以参考概述来检查支持的版本并下载 Flink 的二进制版本，然后提取存档：

tar -xzf flink-*.tgz

应该设置 FLINK_HOME 环境变量，例如：

export FLINK_HOME=/path/flink-*

启动和停止本地集群

要启动本地集群，请运行 Flink 附带的 bash 脚本：

cd /path/flink-*
./bin/start-cluster.sh

Flink 现在作为后台进程运行。可以使用以下命令检查其状态：

ps aux | grep flink

应该能够导航到 localhost:8081 处的 Web UI 以查看 Flink 仪表板并查看集群是否已启动并正在运行。

要快速停止集群和所有正在运行的组件，可以使用提供的脚本：

./bin/stop-cluster.sh

设置 Flink CDC

从发布页面下载 Flink CDC 的 tar 文件，然后提取存档：

tar -xzf flink-cdc-*.tar.gz

解压后的 flink-cdc 包含四个目录：bin、lib、log 和 conf。

从发布页面下载连接器 jar，并将其移动到 lib 目录。

下载链接仅适用于稳定版本，SNAPSHOT 依赖项需要根据特定分支自行构建。

提交Flink CDC Job

这里是同步整个数据库的示例文件mysql-to-doris.yaml：

################################################################################
# Description: Sync MySQL all tables to Doris
################################################################################
source:
 type: mysql
 hostname: localhost
 port: 3306
 username: root
 password: 123456
 tables: app_db.\.*
 server-id: 5400-5404
 server-time-zone: UTC

sink:
 type: doris
 fenodes: 127.0.0.1:8030
 username: root
 password: ""

pipeline:
 name: Sync MySQL Database to Doris
 parallelism: 2

需要根据需要修改配置文件，更多信息请参阅连接器。

• MySQL 管道连接器
• Apache Doris 管道连接器

最后，使用 Cli 将作业提交到 Flink Standalone 集群。

cd /path/flink-cdc-*
./bin/flink-cdc.sh mysql-to-doris.yaml

提交成功后返回信息如下：

Pipeline has been submitted to cluster.
Job ID: ae30f4580f1918bebf16752d4963dc54
Job Description: Sync MySQL Database to Doris

然后你就可以通过 Flink Web UI 找到正在运行的名为 Sync MySQL Database to Doris 的作业。