当前位置: 首页 > article >正文

hive的cascade使用解释

最近看到涉及到hive表字段新增,项目组其他人员让我add columns后加 cascade,这个我以前见到过,但是我一般没有用,也没出问题,那就研究下。

网上大多数的说法就是分区表加字段需要级联,原因是,你add column只针对后面的新增分区,历史分区没有加上字段,后面你插入数据也无法查询。

实践是检验真理的唯一标准。

drop table if exists cc_test.cascade_1;
create table cc_test.cascade_1(
                                  id string ,
                                  name string
)
    partitioned by (bd_date string)
stored as parquet ;

insert into cc_test.cascade_1(id, name, bd_date) VALUES ('1','1','1'),('2','2','2');

alter table cc_test.cascade_1 add columns (sex string ) ;

insert into cc_test.cascade_1(id, name,sex, bd_date) VALUES ('11','11','11','1'),('3','3','3','3');

select * from cc_test.cascade_1

 擦 id=11 的这条数据的sex确实没有显现出来,难道我真的错了? 

加了级联cascade 就好了。

其实不然,只需将表的存储类型改为orc即可。

说明了parquet由于存储类型的问题,add columns的需要加cascade

但是orc不需要的。

直接去官网看下cascade解释

 

ADD COLUMNS lets you add new columns to the end of the existing columns but before the partition columns. This is supported for Avro backed tables as well, for Hive 0.14 and later.

-- add columns 只支持在列的最后和分区字段前加列。

REPLACE COLUMNS removes all existing columns and adds the new set of columns. This can be done only for tables with a native SerDe (DynamicSerDe, MetadataTypedColumnsetSerDe, LazySimpleSerDe and ColumnarSerDe). Refer to Hive SerDe for more information. REPLACE COLUMNS can also be used to drop columns. For example, "ALTER TABLE test_change REPLACE COLUMNS (a int, b int);" will remove column 'c' from test_change's schema.

--这个是repalce 和change的用法

The PARTITION clause is available in Hive 0.14.0 and later; see Upgrading Pre-Hive 0.13.0 Decimal Columns for usage.

-- 对某个分区的操作

The CASCADE|RESTRICT clause is available in Hive 1.1.0. ALTER TABLE ADD|REPLACE COLUMNS with CASCADE command changes the columns of a table's metadata, and cascades the same change to all the partition metadata. RESTRICT is the default, limiting column changes only to table metadata.

这里说的是默认是restrict 默认只改表的数据,cascade改表的元数据和分区的元数据

但是这里并没有说哪些类型的表不需要改?

ALTER TABLE ADD or REPLACE COLUMNS CASCADE will override the table partition's column metadata regardless of the table or partition's protection mode. Use with discretion.

The column change command will only modify Hive's metadata, and will not modify data. Users should make sure the actual data layout of the table/partition conforms with the metadata definition.

 

 经过测试 textfile和parquet 需要加,orc和avro不需要,当然你要全部加上也没啥。


http://www.kler.cn/a/412823.html

相关文章:

  • 关闭AWS账号后,服务是否仍会继续运行?
  • ffmpeg 预设的值 加速
  • Spring Boot林业产品推荐系统:用户指南
  • 如何选择最适合企业的ETL解决方案?
  • Day 27 贪心算法 part01
  • LeetCode 0632.最小区间:优先队列
  • 泛型擦除是什么?
  • MongoDB 语法简析
  • 贴代码PasteForm框架之框架核心帮助类PasteFormHelper说明
  • go clean -modcache命令清理缓存
  • 使用 Tkinter 创建一个简单的 GUI 应用程序来合并视频和音频文件
  • 线程与进程的个人理解
  • 安全设备-日志审计-规则配置
  • JavaEE进阶-----mybatis操作数据库(新手教程)
  • 40分钟学 Go 语言高并发:【实战】并发安全的配置管理器
  • 文本处理之sed
  • 机器学习基础--基于线性回归房价预测
  • 【好玩的经典游戏】Docker环境下部署贪吃蛇网页小游戏(二)
  • uniapp运行时,同步资源失败,未得到同步资源的授权,请停止运行后重新运行,并注意手机上的授权提示。
  • 钟睒睒的“傲慢与偏见”
  • vue3表单输入相关修饰符使用
  • AI写论文指令
  • Java全栈:超市购物系统实现
  • html+css+js打字游戏网页
  • 每日十题八股-2024年11月27日
  • 有什么好用的 tcp 性能测试工具 ?