当前位置：首页 > article >正文

用com.github.shyiko.mysql.binlog 写一个监听mysql的binlog 的程序

article 2024/11/17 20:40:49

使用 com.github.shyiko.mysql-binlog-connector-java 库来监听 MySQL 的 binlog（二进制日志）是一个常见的做法，特别是在需要实时数据同步或变更数据捕获（CDC）的场景中。以下是一个简单的 Java 程序示例，它使用 mysql-binlog-connector-java 来监听 MySQL 的 binlog 事件。首先，确保你已经将 mysql-binlog-connector-java 库的依赖添加到了你的项目中。如果你使用的是 Maven，你可以在 pom.xml 文件中添加以下依赖：

<dependency>
    <groupId>com.github.shyiko</groupId>
    <artifactId>mysql-binlog-connector-java</artifactId>
    <version>0.25.2</version> <!-- 请使用最新版本 -->
</dependency>

然后，你可以编写一个 Java 类来监听 binlog 事件。以下是一个简单的示例：

import com.github.shyiko.mysql.binlog.BinaryLogClient;
import com.github.shyiko.mysql.binlog.event.Event;
import com.github.shyiko.mysql.binlog.event.EventData;
import com.github.shyiko.mysql.binlog.event.EventType;
import com.github.shyiko.mysql.binlog.event.WriteRowsEventData;

import java.io.IOException;
import java.util.List;

public class BinlogListener {

    public static void main(String[] args) {
        String hostname = "localhost"; // MySQL 服务器地址
        int port = 3306;              // MySQL 服务器端口
        String username = "your_username"; // MySQL 用户名
        String password = "your_password"; // MySQL 密码

        BinaryLogClient client = new BinaryLogClient(hostname, port, username, password);

        client.registerEventListener(event -> {
            EventData data = event.getData();

            System.out.println("data: " + data+"\n");
            if (data instanceof WriteRowsEventData) {
                WriteRowsEventData writeRowsData = (WriteRowsEventData) data;
                // 处理写入事件，例如打印出插入或更新的数据
                System.out.println("Table: " + writeRowsData.getTableId());
                List<Object[]> rows = writeRowsData.getRows();
                for (Object[] row : rows) {
                    // 打印每一行的数据
                    for (Object field : row) {
                        System.out.print(field + " ");
                    }
                    System.out.println();
                }
            } else if (event.getHeader().getEventType() == EventType.EXT_UPDATE_ROWS) {
                // 处理更新事件（注意：这里使用的是 EXT_UPDATE_ROWS，因为普通的 UPDATE_ROWS 可能在新版本的 MySQL 中被弃用）
                // 类似地，你可以处理其他类型的事件，如 DELETE_ROWS 等
            }

            // 根据需要处理其他类型的事件
        });

        try {
            client.connect();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

注意：

上面的代码示例仅处理了 WriteRowsEventData 类型的事件，即插入或更新操作。你可能需要根据实际需求添加对其他类型事件（如 DeleteRowsEventData、UpdateRowsEventData 等）的处理。
在生产环境中，请确保正确处理异常和资源释放，例如在 finally 块中关闭客户端连接。
监听 binlog 需要 MySQL 服务器启用 binlog 功能，并且用户需要有足够的权限来读取 binlog。
mysql-binlog-connector-java 库可能不支持所有版本的 MySQL。请查阅该库的文档以了解它支持的 MySQL 版本。
在实际部署之前，请务必在测试环境中充分测试你的代码。

数据库的所有操作都会被监听，运行结果如下

data: RotateEventData{binlogFilename='binlog.000108', binlogPosition=4884}

data: FormatDescriptionEventData{binlogVersion=4, serverVersion='8.0.28', headerLength=19, dataLength=98, checksumType=CRC32}

data: null

data: QueryEventData{threadId=32, executionTime=0, errorCode=0, database='test_db', sql='BEGIN'}

data: TableMapEventData{tableId=135, database='test_db', table='test_table', columnTypes=3, 15, columnMetadata=0, 765, columnNullability={1}, eventMetadata=TableMapEventMetadata{signedness={}, defaultCharset=33, charsetCollations=null, columnCharsets=null, columnNames=null, setStrValues=null, enumStrValues=null, geometryTypes=null, simplePrimaryKeys=null, primaryKeysWithPrefix=null, enumAndSetDefaultCharset=null, enumAndSetColumnCharsets=null}}

data: WriteRowsEventData{tableId=135, includedColumns={0, 1}, rows=[
    [1, 1]
]}

Table: 135
1 1 
data: XidEventData{xid=1353}

data: null

data: QueryEventData{threadId=32, executionTime=0, errorCode=0, database='test_db', sql='BEGIN'}

data: TableMapEventData{tableId=135, database='test_db', table='test_table', columnTypes=3, 15, columnMetadata=0, 765, columnNullability={1}, eventMetadata=TableMapEventMetadata{signedness={}, defaultCharset=33, charsetCollations=null, columnCharsets=null, columnNames=null, setStrValues=null, enumStrValues=null, geometryTypes=null, simplePrimaryKeys=null, primaryKeysWithPrefix=null, enumAndSetDefaultCharset=null, enumAndSetColumnCharsets=null}}

data: WriteRowsEventData{tableId=135, includedColumns={0, 1}, rows=[
    [2, 2]
]}

Table: 135
2 2 
data: XidEventData{xid=1356}

data: null

data: QueryEventData{threadId=32, executionTime=0, errorCode=0, database='test_db', sql='BEGIN'}

data: TableMapEventData{tableId=135, database='test_db', table='test_table', columnTypes=3, 15, columnMetadata=0, 765, columnNullability={1}, eventMetadata=TableMapEventMetadata{signedness={}, defaultCharset=33, charsetCollations=null, columnCharsets=null, columnNames=null, setStrValues=null, enumStrValues=null, geometryTypes=null, simplePrimaryKeys=null, primaryKeysWithPrefix=null, enumAndSetDefaultCharset=null, enumAndSetColumnCharsets=null}}

data: UpdateRowsEventData{tableId=135, includedColumnsBeforeUpdate={0, 1}, includedColumns={0, 1}, rows=[
    {before=[1, 1], after=[1, 111]}
]}

data: XidEventData{xid=1359}

data: null

data: QueryEventData{threadId=32, executionTime=0, errorCode=0, database='test_db', sql='BEGIN'}

data: TableMapEventData{tableId=135, database='test_db', table='test_table', columnTypes=3, 15, columnMetadata=0, 765, columnNullability={1}, eventMetadata=TableMapEventMetadata{signedness={}, defaultCharset=33, charsetCollations=null, columnCharsets=null, columnNames=null, setStrValues=null, enumStrValues=null, geometryTypes=null, simplePrimaryKeys=null, primaryKeysWithPrefix=null, enumAndSetDefaultCharset=null, enumAndSetColumnCharsets=null}}

data: DeleteRowsEventData{tableId=135, includedColumns={0, 1}, rows=[
    [2, 2]
]}

data: XidEventData{xid=1362}

data: null

data: QueryEventData{threadId=32, executionTime=0, errorCode=0, database='test_db', sql='BEGIN'}

data: TableMapEventData{tableId=135, database='test_db', table='test_table', columnTypes=3, 15, columnMetadata=0, 765, columnNullability={1}, eventMetadata=TableMapEventMetadata{signedness={}, defaultCharset=33, charsetCollations=null, columnCharsets=null, columnNames=null, setStrValues=null, enumStrValues=null, geometryTypes=null, simplePrimaryKeys=null, primaryKeysWithPrefix=null, enumAndSetDefaultCharset=null, enumAndSetColumnCharsets=null}}

data: WriteRowsEventData{tableId=135, includedColumns={0, 1}, rows=[
    [3, 333]
]}

Table: 135
3 333 
data: XidEventData{xid=1364}

Disconnected from the target VM, address: '127.0.0.1:51610', transport: 'socket'

Process finished with exit code 130

查看全文

http://www.kler.cn/a/397740.html