sparksql建临时表的几种方式
目录
- 前言
- 1.create table + 临时表名
- 2. with as 语句
- 3.cache table 语法
- 4.create temporary table
前言
sparksql任务中，有时需要建临时表，来实现一些代码逻辑，最后再进行不同临时表逻辑关联，以提高任务执行效率。下面介绍几种建临时表的方法。
1.create table + 临时表名
如下：
drop table if exists default.tmp_test_table_di_00_${etl_date_key};
create table if not exists default.tmp_test_table_di_00_${etl_date_key} as
select ...
from ...
将数据写入到临时表中，表的类型为tmp（临时表）,适用于数据量大，任务执行完，记得删除临时表；
2. with as 语句
with as 语句是SQL中的一种常用语法，它可以为一个查询结果或子查询结果创建一个临时表，并且可以在后续的查询中使用这个临时表，在查询结束后该临时表就被清除了。这种语法的使用可以使得复杂的查询变得简单，同时也可以提高查询效率。
with tmp_test_table_di_00_${etl_date_key} as (
select ...
from ...
)
3.cache table 语法
cache table tmp_test_table_di_00_${etl_date_key} as (
select ...
from ...
)
with语法只相当于一个视图，并不会将数据缓存；如果要将数据缓存，需要使用cache table语法;
最常见的，多个重复sql时，可使用with / cache语法。with是让代码看起来更简洁；cache是会将数据缓存在内存中，按需求考虑。cache一般用来缓存结果数据，小量数据；对于大量的中间数据做缓存时要仔细考虑，一般不建议;
4.create temporary table
create temporary table default.tmp_test_table_di_00_${etl_date_key} as
select ...
from ...
Hive中使用临时表（create temporary table）