sparksql建临时表的几种方式
目录
- 前言
- 1.create table + 临时表名
- 2. with as 语句
- 3.cache table 语法
- 4.create temporary table
前言
sparksql任务中,有时需要建临时表,来实现一些代码逻辑,最后再进行不同临时表逻辑关联,以提高任务执行效率。下面介绍几种建临时表的方法。
1.create table + 临时表名
如下:
drop table if exists default.tmp_test_table_di_00_${etl_date_key};
create table if not exists default.tmp_test_table_di_00_${etl_date_key} as
select ...
from ...
将数据写入到临时表中,表的类型为tmp(临时表),适用于数据量大,任务执行完,记得删除临时表;
2. with as 语句
with as 语句是SQL中的一种常用语法,它可以为一个查询结果或子查询结果创建一个临时表,并且可以在后续的查询中使用这个临时表,在查询结束后该临时表就被清除了。这种语法的使用可以使得复杂的查询变得简单,同时也可以提高查询效率。
with tmp_test_table_di_00_${etl_date_key} as (
select ...
from ...
)
3.cache table 语法
cache table tmp_test_table_di_00_${etl_date_key} as (
select ...
from ...
)
with语法只相当于一个视图,并不会将数据缓存;如果要将数据缓存,需要使用cache table语法;
最常见的,多个重复sql时,可使用with / cache语法。with是让代码看起来更简洁;cache是会将数据缓存在内存中,按需求考虑。cache一般用来缓存结果数据,小量数据;对于大量的中间数据做缓存时要仔细考虑,一般不建议;
4.create temporary table
create temporary table default.tmp_test_table_di_00_${etl_date_key} as
select ...
from ...
Hive中使用临时表(create temporary table)