Iceberg与SparkSQL写操作整合
前言
spark操作iceberg之前先要配置spark catalogs,详情参考Iceberg与Spark整合环境配置。
有些操作需要在spark3中开启iceberg sql扩展。
Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。Spark DSv2是一个不断发展的API,在Spark版本中具有不同级别的支持:
Spark 3支持SQL INSERT INTO、MERGE INTO和INSERT OVERWRITE,以及新的DataFrameWriterV2 API来进行iceberg表的写操作,接下来我们进行详细讲解。
INSERT INTO
insert into是往iceberg表中插入新数据,主要有两种语法:
INSERT INTO prod.db.table VALUES (1, 'a'), (2, 'b')
I