当前位置: 首页 > article >正文

Iceberg与SparkSQL查询操作整合

前言

spark操作iceberg之前先要配置spark catalogs,详情参考Iceberg与Spark整合环境配置。

Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。

使用SQL查询

查询的时候表要按照:catalog.数据库.表名的格式

SELECT * FROM prod.db.table; -- catalog: prod, namespace: db, table: table

元数据表(如历史和快照)可以使用Iceberg表名作为命名空间。
例如,要从文件的元数据表中读取prod.db.table:

SELECT * FROM prod.db.table.files;

SQL查询的方式就和普通数据库没什么区别,只要把数据库.表名,前面加上一个catalog即可。

DataFrame查询

  1. 查询语法
    dataframe查询iceberg表:
val df = spark.table("prod.db.table")

也可以通过DataFrameReader接口查询&#


http://www.kler.cn/a/304116.html

相关文章:

  • 运行WHTools批量启动游戏房间工具提示要安装.Net Framework3.5解决
  • C++ QT 工具日志异步分批保存
  • 15 个改变世界的开源项目:塑造现代技术的先锋力量
  • 从0开始深度学习(28)——序列模型
  • MySQL 中的索引下推功能
  • Django Form
  • JS设计模式之适配器模式:接口天然的“翻译官”
  • 【物联网技术大作业】设计一个智能家居的应用场景
  • [项目][WebServer][项目介绍及知识铺垫][下]详细讲解
  • Java项目: 基于SpringBoot+mybatis+maven美发门店管理系统(含源码+数据库+毕业论文)
  • 【HTTP】URL的基本概念和构成
  • Unity Lua方向的面试真题详解
  • 阿里巴巴商品详情API返回值:电商精准营销的关键
  • Go语言概述
  • 人力资源管理系统员工组织与微软AD域服务系统集成案例
  • HOT 100(七)栈、堆、贪心算法
  • 游戏工作室搬砖多开怎么做
  • 一篇文章了解Pytest单元测试框架
  • openai最新模型o1全面解读
  • HarmonyOS Next鸿蒙NDK使用示例
  • Rust 数据类型
  • 【开发工具】java开发中让你版本管理不在复杂的插件:GitToolBox
  • 【60天备战软考高级系统架构设计师——第十八天:运维与服务管理——DevOps实践】
  • 使用HTML
  • Python知识点:如何使用Vagrant进行开发环境搭建
  • 1.1 计算机网络基本概述