当前位置：首页 > article >正文

7-8月月报 | Apache SeaTunnel社区进展一览

article 2024/11/13 11:25:08

各位热爱 Apache SeaTunnel 的小伙伴们，社区 7-8 月份月报来啦！这两个月项目有了哪些进展？又有谁登上了我们社区的贡献者榜单呢？快来一睹为快吧。

Merge Stars

感谢以下小伙伴上两个月为 Apache SeaTunnel 项目和社区发展所做的精彩贡献（排名不分先后）：

file

@Hisoka-X,@xxsc0529,@arshadmohammad,@TyrantLucifer,@ZhangWeike2000,@loustler,@Carl-Zhou-CN,@wuchunfu,@Gxinge,@cl0924,@alextinng,@chl-wxp,@chenqianwen,@jackyyyyyssss,@yujian225,@virvle,@kevinjmh,@corgy-w,@baicie,@liunaijie,@hawk9821,@Anush008,@zhilinli123,@OswinWu,@zhangm365,@ISADBA,@luzongzhu,@tcodehuber,@liugddx,@litiliu,@dependabot[bot],@Thomas-HuWei,@Xuzhengz,@Wudadada,@MRYOG,@latch890727,@jw-itq,@BruceWong96,@panpan2019,@XIAOKUOAIyang,@cloud456,@hailin0,@Vonng,@zhangshenghang,@whhe,@dailai,@zqr10159,@SachinS10-lab,@EricJoy2048,@XenosK,@Asura7969,@zhouhoo,@chaos-cn,@FlechazoW,@asapekia,@BilwaST,@bingquanzhao,@FuYouJ

apache/seatunnel仓库

修复

[Fix][E2E]将gbase驱动程序版本更改为解决证书过期问题 @hawk9821
[Hotfix][Connector-V2]修复了Paimon目标中decimal数据类型的小数精度问题 @dailai
[Fix][doc]修复失效链接 @corgy-w
[Hotfix][Connector-V2]修复ES中未插入null的问题 @corgy-w
[Fix][Core]修复当配置值为null时出现的NPE @hawk9821
[Fix][Connector-V2]修复jdbc查询sql无法获取表路径 @corgy-w
[Fix][Zeta]在多节点环境下，资源隔离的修复未起作用。 @chenqianwen
[Hotfix][Metrics]修复间歇性的多指标持续集成 @corgy-w
[Fixbug]Doris自定义SQL工作 @zhangshenghang
[Fix]修复seatunnel连接器列表URL中的死链 @Hisoka-X
[FIX][E2E]将OceanBase测试用例更新到最新的imageChange image @xxsc0529
[Fix][Seatunnel-core]修复Windows执行脚本中的语法错误 @cl0924
[Hotfix][MySQL-CDC]修正包名拼写错误 @ISADBA
[ Revert "[Fix][Connector-V2]修复 Doris 主键顺序和字段顺序不一致的问题("#7377") ]( https://github.com/apache/seatunnel/pull/7402 " Revert "[Fix][Connector-V2]修复 Doris 主键顺序和字段顺序不一致的问题("#7377") ") @Hisoka-X
[Hotfix][MySQL-CDC]修复MySQL二进制日志读取时的ArrayIndexOutOfBoundsException @hailin0
[Bugfix][Doris-connector]修复Json序列化问题，空值导致数据错误。 @liugddx
[Fix][Connector-V2]修复 Doris 主键顺序和字段顺序不一致的问题 @Hisoka-X
[Hotfix][Connector]修复JDBC编译错误 @hailin0
[Fix][Zeta]修复任务无法结束，原因可能是锁定度量失败 @Hisoka-X
[Fix]修复http e2e案例 @jackyyyyyssss
[Fix]修复Oracle示例数据中列错误 @Hisoka-X
[FIX][SFTP]修复sftp sink文档中的用户名参数错误 @wuchunfu
[Fix][Doris]修复CDC场景中数据删除的异常问题。 @liugddx
[Hotfix][Connector]修复Kafka消费者下一次启动时的日志偏移量 @hailin0
[Fix][Connector-V2][OceanBase]移除OceanBase目录对mysql驱动的依赖 @xxsc0529
[Fix][Doc]修复 miss sink-options-placeholders.md 在侧边栏中 @Hisoka-X
[Fix][Doc]修复混合集群部署文档显示错误 @Hisoka-X
[Hotfix][Zeta]当系统繁忙时，无法停止修复任务 @hailin0
[Hotfix][Zeta]当系统繁忙时，无法停止修复任务 @hailin0
[Fix][Connector-V2]修复Doris TRANSFER_ENCODING头部错误 @liugddx
[Fix][Dist]在发布包中移除aws jar依赖 @Hisoka-X
- [Hotfix][Zeta]修复任务组失败日志丢失 @EricJoy2048
[Fix][Zeta]修复发布槽资源两次 @Hisoka-X
[Fix][Zeta]在初始化时，混合部署模式无法获取工作节点 @Hisoka-X
[Fix][Connector kafka]修复Kafka消费者在TM节点重启后停止获取数据的问题 @litiliu
[Fix][E2E]修复类加载器数量 @jackyyyyyssss
[HotFix] [Remote Debug]描述当远程调试启用时，Seatunel 服务器的5801端口未能正确监听 @hawk9821
[Fix][Connector-V2][Maxcompute]修复Maxcompute 沉淀无法映射字段的问题 @panpan2019
[Fix][Connector-V2]修复Hana类型转换器的十进制小数位数为0时转换为整数错误 @Hisoka-X
[Bugfix][RestApi]修复hazelcast/rest/maps/submit-job返回错误的jobId @liugddx
[hotfix][connector-v2-hbase]修复并优化HBase源问题 @zhangshenghang
[Fix][Connector-V2]修复Kafka批处理模式无法读取所有消息 @Hisoka-X
[Fix][Connector-V2][Elasticsearch]修复DROP_DATA数据sink配置 @Wudadada
[bugFix][Connector-V2][CDC]Apache SeaTunnelRowDebeziumDeserializationConverters NPE @Asura7969
[Hotfix][connector-v2-rabbit]修复Rabbit检查点异常在Flink模式下 @zhangshenghang
[Hotfix][Zeta]修复批量任务在重试后无法停止 @hailin0
[Hotfix][Hive Connector]修复Hive的hdfs-site.xml和hive-site.xml文件，以解决加载错误 @EricJoy2048
[Fix][Flink-starter]Apache SeaTunnel的Flink检查点默认值的热修复 @zhangshenghang
[Fix][Zeta]修复env jars在zeta上无法运行 @Hisoka-X
[fix] [connector-tdengine]在连接到Taos并读取数据时，解决SQL异常和并发修改异常 @alextinng

优化

[Improve][Connector-v2]在JDBC的executeBatch执行过程中发生异常时，即使在closeStatements中释放资源。 @dailai
[Improve][Connector-v2]支持MySQL 8.1/8.2/8.3的JDBC @dailai
[Feature][Core]为批处理开始和停止添加了rest-api @zhangshenghang
[Improve][Test]移除S3Utils中的无用代码。 @FlechazoW
[Improve][Document]修复paimon.apache.org死链 @FuYouJ
[Improve][Connector-V2]仿冒支持列配置 @corgy-w
[Feature][Core]为所有连接器添加事件通知 @zhangshenghang
[Improve][Connector-V2]移除硬编码的Iceberg表格式版本 @Hisoka-X
[Improve]更新Docker文档并构建标签 @Hisoka-X
[Feature][Connector-V2][Tablestore]支持Tablestore的Source连接器 #7448 @cloud456
[Improve]改进一些连接器，准备检查错误消息 @zhangshenghang
[Feature][Connector-V2]在jdbc中添加decimal_type_narrowing选项 @Hisoka-X
[Improve]添加了OSSFileCatalog及其工厂 @loustler
[Improve]重构S3FileCatalog及其工厂 @loustler
[Feature][Connector-V2]支持Typesense连接器 @zhangshenghang
[Improve][Connector-V2]更新向量类型 @corgy-w
[Improve][API]添加 IGNORE savemode 类型 @jw-itq
[Improve][API]将catalog open移动到SaveModeHandler @Hisoka-X
[Improve]将快照版本更新到2.3.8 @wuchunfu
[Feature][Connector-V2]支持opengauss-cdc @dailai
[Improve][Doc]更新文档结构 @Hisoka-X
[Feature][Connector-V2]假源支持生成向量数据 @corgy-w
[Improve][Connector-V2]移除系统表限制 @Hisoka-X
[Improve][Connector-V2]使用完毕后关闭所有ResultSet @Hisoka-X
[Improve][Document]更新指南并添加示例 @yujian225
[Improve]更新pull请求模板和github动作指南 @Hisoka-X
[Feature][Connector-V2][OceanBase]OceanBase上的支持向量类型 @xxsc0529
[Improve]在安装插件时，跳过下载传递依赖项 @kevinjmh
[Improve][Connector-V2]支持多表sink特性用于邮件 @corgy-w
[Improve][Document]在setup.md中更改废弃的连接器名称 @Hisoka-X
[Feature][Rabbitmq]允许配置队列持久性和删除策略 @zqr10159
[Feature][connector-v2]添加Kafka Protobuf数据解析支持 @zhangshenghang
[Improve][Connector]添加多表sink选项检查 @hailin0
[Improve][API]在发送到下游之前，请检查目录表字段名称是否合法 @Hisoka-X
[Improve][Connector-V2][Console]将现有规则添加到optionRule中 @chaos-cn
[Feature][Connector-V2]添加阿里云SLS连接器 #3733 @XenosK
[Feature]添加Dockerfile @liunaijie
[Improve][Connector-V2]优化 Doris 错误消息 @Hisoka-X
[Improve][Connector-V2]在StarRocksCatalog中重用连接 @Hisoka-X
[Feature][Zeta]增加了多表的其他度量信息 @corgy-w
[Improve][Connector-V2][Jdbc]移除JdbcDialect中的MysqlType引用 @whhe
[Improve][E2E]支持Paimon的端到端（e2e）中的Windows @hawk9821
[Improve][Transform]优化DynamicCompile转换 @jackyyyyyssss
[Improve][Jdbc]在创建表时合并用户配置主键 @hailin0
[Improve]将快照版本更新至2.3.7 @Hisoka-X
[Feature][Transform]添加LLM转换 @Hisoka-X
[Feature][Connector-V2]支持Qdrant沉淀和源连接器 @Anush008
[Improve][SQL-Transform]从输出字段中移除转义标识符 @hailin0
[Improvement]JDBC支持方言名称，用于选择方言。 @liunaijie
[Improve][Jdbc]在自动创建表时，跳过所有索引以提高写入性能 @dailai
[Feature][Transforms]SQL中将支持的cast到字节函数 @hailin0
[Feature][Spark]支持多表读取和写入 @Carl-Zhou-CN
[Improve]优化doris jar中的thrift shade包 @luzongzhu
[Improve][Core]基于插件名称改进查找策略基础 @corgy-w
[Improve][Transform]优化DynamicCompile转换 @jackyyyyyssss
[Feature][Jdbc]支持Hive兼容模式添加Inceptor方言 @Xuzhengz
[Improve][Connector-v2]优化数据库和表的存在性检查方式 @dailai
[Improve][API]确保TablePath中的表名不为null @Hisoka-X
[Feature] [Activemq]添加了activemq 沉淀 @asapekia
[Improve][Connector-v2]优化jdbc-oracle和oracle-cdc的计数表行 @dailai
[Improve][Zeta]处理用户隐私当提交任务打印配置日志时 @hawk9821
[Feature][Connector-V2][Iceberg]支持Iceberg Kerberos @luzongzhu
[Improve][Core]将MultiTableSink移至seatunnel-api模块 @Hisoka-X
[Improve][Connector-V2]为paimon字段添加可为空属性 @hawk9821
[Improve][Doris Connector]统一序列化方法，使用RowToJsonConverter和TextSerializationSchema @liugddx
[Feature]将转换拆分并移入连接器目录的jar包 @liunaijie
[Feature][Zeta]在多表模式下添加了表统计的度量信息 @hawk9821
[Improve][Hive]在出现异常时关闭资源 @hailin0
[Improve][Restapi]在监控信息中添加ip和端口 @liugddx
[Improve][CI]将milvus添加到标签 @Hisoka-X
[Improve]在无法解析datetime值时，改进错误消息 @Hisoka-X
[Feature][Connector-V2]支持选择在HTTP分页中开始的页面 @Gxinge
[Improve][Jdbc]在catalog-table选项中移除用户信息 @hailin0
[Improve][CI]添加自动标签动作 @Hisoka-X
[Feature][RestAPI]概览支持标签筛选 @liunaijie
[Feature][Transform]动态编译添加转换 @jackyyyyyssss
[Feature][Connector-V2]支持HBase的多表sink特性 @BruceWong96
[Improve][Jdbc]支持将Unicode文本写入SQLServer @hailin0
[Feature][Connector-V2][Milvus]支持Milvus数据源与sink @Thomas-HuWei
[Improve][connector-v2-jdbc-mysql]为MySQL 8.4添加支持 @wuchunfu
[Feature][Connector-V2][Clickhouse]将clickhouse.config添加到源连接器 @loustler
[Improve][Jdbc]将catalog table log更改为debug级别 @Hisoka-X
[Feature][Core]支持在sink选项中使用上游表占位符，并自动替换 @hailin0
[Feature][Core]为动态自定义参数添加一个测试案例 @liugddx
[feature][connector-v2-hbase-sink]支持Connector v2 HBasesink的TTL数据写入 @zhangshenghang
[Improve][Document]在Postgre-CDC.md文件中将Postgre修复为PostgreSQL @Vonng
[Improve]修复plugin_config @hailin0
[Feature] [Github CI]模块反复运行 @hawk9821
[Improve][Redis]关于Apache SeaTunnel的Redis读取器使用scan命令而非keys，单模式的读写支持批量操作。 @FuYouJ
[feature][connector-file-local]为localfile添加保存模式功能 @chl-wxp
[Improve][E2E][Doris]为连接器-doris-e2e添加无模式测试用例 @bingquanzhao
[Improve][Doc]优化钉钉文档 @MRYOG
[Improve][Zeta]在资源管理器上请求槽位时添加重试 @Hisoka-X
[Improve][Doc]将IMap OSS配置JAR文件添加到文档中 @zhouhoo
[ [Improve][Zeta]关于Apache SeaTunnel的功能和特性，请勿翻译，仅将以下内容翻译成中文："为提交重复的工作ID添加检查" ]( https://github.com/apache/seatunnel/pull/7021 " [Improve][Zeta]关于Apache SeaTunnel的功能和特性，请勿翻译，仅将以下内容翻译成中文："为提交重复的工作ID添加检查" ") @Hisoka-X
[Feature][Connector-V2]支持jdbc hana目录和类型转换器 @Hisoka-X
[Feature][Zeta]在Apache SeaTunnel中添加Master和Worker的分裂模式部署 @EricJoy2048
[Improve][Connector-V2]支持MySQL-CDC和MySQL-JDBC的模式演化 @dailai
[Improve][hbase]指定的列写入指定的列族 @zhilinli123
[Feature][connector][kafka]支持从kafka读取Maxwell格式消息 #4415 @zhilinli123
[Feature][Connector-V2] [Hudi]添加Hudi Sink连接器 @liugddx

其他事项

[Document]移除一个fs.oss.credentials.provider选项 @loustler
[Hotifx][Jdbc]修复MySQL不支持'ZEROFILL'列类型 @hailin0
[ASF]添加新合作者 @Hisoka-X
[Core][Flink]优化方法名称 @TyrantLucifer
[Core][Flink]重构 Flink 代理源/汇 @TyrantLucifer
[DOC][Oss]在选择oss作为检查点基础时，修正了文档配置的错误 @Carl-Zhou-CN
[E2E]启用JdbcPostgresIdentifierIT @hailin0
[E2E]启用Spark/Flink的fakesource端到端（E2E）功能 @hailin0
[E2E]移除未使用的代码 @hailin0
将org.apache.activemq:activemq-client从5.14.5升级到5.15.16在/seatunnel-connectors-v2/connector-activemq中 @dependabot[bot]
更新Oracle-CDC.md @virvle
[Docs]事件监听器文档翻译成中文 @OswinWu
[Chore][NOTICE]在NOTICE文件中更正年份 @wuchunfu
[Docs]更新与引擎相关的文档信息 @tcodehuber
[Doc]HDFS文件文档校正 @liunaijie
[E2E]修复Iceberg全链路图像标签 @hailin0
[Docs]更新贡献和readme相关的文档信息 @tcodehuber
[Docs]更新关于transform和faq相关文档信息 @tcodehuber
[Docs]更新概念相关的文档信息 @tcodehuber
[Docs]更新与快速启动v2相关的文档信息 @tcodehuber
将org.xerial.snappy:snappy-java从1.1.8.3升级到1.1.10.4在/seatunnel-connectors-v2/connector-hudi中 @dependabot[bot]
[CI]修复k8s引擎，当仅更改测试用例时无法运行 @Hisoka-X
[Docs]更新rest-api文档 @liunaijie
[Chore]删除无用代码 @TyrantLucifer
[CI][Test]修复engine-k8s-it失败 @Hisoka-X
[typo]关于Apache SeaTunnel的提示：错误的拼写，保存模式执行位置 @liunaijie
[Doc]修正文档 @liunaijie
[Docs][connector-sink]添加 Docs 连接器 v2 沉淀 @zhangshenghang
[Docs]将clickhousefile,phoenix,rabbitmq,starrocks sink文档翻译成中文 @latch890727

apache/seatunnel-website仓库

fix

[Fix][Doc]修复 miss sink-options-placeholders.md 在侧边栏中 @Hisoka-X
[Fix][Doc]修复混合集群部署文档显示错误 @Hisoka-X

others

新增提交者 @liunaijie
添加发布文档2.3.7修复 @wuchunfu
添加版本文档2.3.7 @wuchunfu
还原旧版本文档 @Hisoka-X
修复版本脚本 @baicie
添加版本文档2.3.6 @Hisoka-X
修复：同步图像 @baicie

apache/seatunnel-web仓库

修复

[Bug] [Seatunnel-web]Apache SeaTunnel的/seatunnel/api/v1/job/executor/resource API并未使用已登录用户。 @arshadmohammad
[Bug] [Seatunnel-web]当作业执行初始化失败时，作业执行状态保持不变。 @arshadmohammad
[Bug] [Seatunnel-web]如果不存在，则创建日志目录。 @arshadmohammad
[Bug] [Seatunnel-web]验证消息错误 @arshadmohammad
[Fix]修复运行时间计算，以考虑缺失的天数。 @XIAOKUOAIyang
[Bug][Seatunnel-web]JWT算法是硬编码的。使用配置的j... @BilwaST
[Bug] [Seatunnel-web]Apache SeaTunnel的seatunnel-web启动脚本和插件下载脚本默认没有执行权限 @arshadmohammad
[Bug] [Seatunnel-web]Seatunnel-web始终要求集群名称为seatunnel @arshadmohammad
[Bug] [Seatunnel-web]在logs目录之外创建了gc.log，nohup.out @arshadmohammad
[Improve][feature][Bug]在任务定义中添加提示框，并修复设计问题。 @SachinS10-lab

优化

[Improvement] [Seatunnel-web]改进DatasourceServiceImpl和SeaTunnelEngineMetricsExtractor等代码。 @arshadmohammad
[Improvement] [Seatunnel-web]添加API以获取和更新作业定义。 @arshadmohammad
[Improvement] [Seatunnel-web]添加API以获取作业执行状态。 @arshadmohammad
[Improvement] [Seatunnel-web]增加支持以提供作业失败的原因 @arshadmohammad
[Feature] [Seatunnel-web]通过API支持使用参数执行作业。 @arshadmohammad
[Improvement] [Seatunnel-web]将seatunnel版本从2.3.6升级到2.3.7 @arshadmohammad
[Feature][Seatunnel-web]增加对使用单一API创建作业的支持 @arshadmohammad
[Improvement][Seatunnel-web]执行作业REST API 应该是POST类型，而不是GET类型。 @arshadmohammad
[Improvement][Seatunnel-web]为seatunnel-web REST API添加端到端执行支持 @arshadmohammad
[Improvement][Seatunnel-web]将frontend-maven-plugin从1.11.3升级到1.15.0，同时将slf4j.version从1.7.25升级到1.7.36。 @arshadmohammad
[Feature][Seatunnel-web]将FakeSource和Console数据源添加到seatunnel-web中 @arshadmohammad
[Improve] [Seatunnel-Web]在Seatunnel-Web中添加对Seatunnel 2.3.6的支持 @arshadmohammad

其他事项

[Chore]代码整洁 @ZhangWeike2000
[Build]将快照版本更新至1.0.2 @Hisoka-X
[ 撤销"为修复seatunnel.sh命令更新README.md" ]( https://github.com/apache/seatunnel-web/pull/175 " 撤销"为修复seatunnel.sh命令更新README.md" ") @Hisoka-X
更新.asf.yaml @Hisoka-X
更新README.md以修复seatunnel.sh命令 @zhangm365
添加图标 @liunaijie