Flink 实时数据处理中的问题与解决方案
在使用 Flink 进行实时数据加工时，连接 MySQL 数据源是一项常见的任务。本文将详细描述在我使用 Flink 进行 MySQL 数据实时加工时遇到的一些问题，以及如何解决这些问题。
我用的Flink版本是1.20.0
问题一：jar 包版本不匹配
错误信息
在连接 MySQL 时，报错如下：
java.lang.NoSuchMethodError: 'java.lang.String com.mysql.cj.CharsetMapping.getStaticJavaEncodingForMysqlCharset(java.lang.String)'
at io.debezium.connector.mysql.MySqlConnection$CharsetMappingWrapper.getJavaEncodingForMysqlCharSet(MySqlConnection.java:554) ~[flink-sql-connector-mysql-cdc-3.2.1.jar:3.2.1]
at io.debezium.connector.mysql.MySqlConnection.getJavaEncodingForMysqlCharSet(MySqlConnection.java:548) ~[flink-sql-connector-mysql-cdc-3.2.1.jar:3.2.1]
at io.debezium.connector.mysql.MySqlValueConverters.charsetFor(MySqlValueConverters.java:382) ~[flink-sql-connector-mysql-cdc-3.2.1.jar:3.2.1]原因分析
该错误表明 flink-sql-connector-mysql-cdc 使用的 MySQL 驱动版本与当前项目的 MySQL 驱动版本不匹配。具体来说，com.mysql.cj.CharsetMapping.getStaticJavaEncodingForMysqlCharset 方法是 MySQL 驱动较新版本中引入的，如果使用的是较旧版本的 MySQL 驱动，就会出现 NoSuchMethodError。
解决方案
1. 检查当前项目中使用的 MySQL 驱动版本。
2. 升级 MySQL 驱动版本，确保与
flink-sql-connector-mysql-cdc兼容。推荐使用 MySQL Connector/J 8.0.28 或更高版本。3. 下载与 Flink MySQL CDC 连接器兼容的 JAR 文件：
• mysql-connector-j-8.0.33.jar
• flink-sql-connector-mysql-cdc-3.2.1.jar
• flink-connector-jdbc-3.2.0-1.19.jar
问题二：JDK 版本不匹配
错误信息
java.lang.UnsupportedClassVersionError:io/debezium/connector/mysql/MySqlConnectorConfighasbeencompiledbyamorerecentversionoftheJavaRuntime(class file version 61.0),thisversionoftheJavaRuntimeonlyrecognizesclassfileversionsupto 52.0原因分析
这个错误表明，Debezium 依赖库是用较新的 JDK 版本编译的，而当前 Java 运行时版本（Java 8）不支持该类文件。Debezium 需要至少 Java 17（版本 61.0）来运行。
解决方案
升级 Java 运行时到 Java 17 或更高版本。可以通过以下命令来下载并安装 Java 17：
wget https://github.com/adoptium/temurin17-binaries/releases/download/jdk-17.0.8.1+1/OpenJDK17U-jdk_x64_linux_hotspot_17.0.8.1_1.tar.gz
tar xzf OpenJDK17U-jdk_x64_linux_hotspot_17.0.8.1_1.tar.gz -C /usr/local/让 Debezium 使用 Java 17，而其他应用仍使用 Java 8。
系统全局环境变量仍指向 Java 8
修改启动脚本 start-cluster.sh，在脚本顶部添加以下内容，指定需要的 Java 版本路径：
#!/usr/bin/env bash
export JAVA_HOME=/usr/local/jdk-17
export PATH=$JAVA_HOME/bin:$PATH问题三：Flink 任务异常停止，但仍继续读取 Binlog
在运行 Flink 任务时，即使执行了 ./stop-cluster.sh 停止了 Flink 集群，任务依然继续同步 Binlog。
可以看到，flink-sql-client-1.20.0.jar 依然在执行。这时，需要手动杀掉进程，才能彻底停止同步。
解决方案
在 Flink 集群停止后，查看进程是否仍在运行：
ps -ef | grep flink-sql-client手动杀掉对应的进程：
kill -9 <pid>