当前位置: 首页 > article >正文

Hive sql执行文件合并配置参数

HIVE自动合并输出的小文件的主要优化手段为:HIVE将会启动一个独立的map-reduce任务进行输出文件的merge。
set hive.merge.mapfiles = true:
在只有map的作业结束时合并小文件,
set hive.merge.mapredfiles = true:
在Map-Reduce的任务结束时合并小文件,默认为False;
set hive.merge.size.per.task = 256000000;
合并后每个文件的大小,默认256M
set hive.merge.smallfiles.avgsize=16000000;
当输出文件的平均大小小于16M时合并。
set hive.merge.orcfile.stripe.level=false;
当设置为true,orc文件进行stripe Level级别的合并,当设置为false,orc文件进行文件级别的合并。


http://www.kler.cn/a/471790.html

相关文章:

  • vue3+vite+tdesign实现日历式可编辑的排课班表
  • 概率论与数理统计--期末
  • 第21章 汇编语言--- DMA(直接内存访问)
  • A second-price auction
  • MySQL 间隙锁避免“可重复读”出现“幻读”
  • OpenCV在现代社会中的应用
  • 【机器学习:四、多输入变量的回归问题】
  • MySQL 如何赶上 PostgreSQL 的势头?
  • 特种设备安全管理人员免费题库限时练习(判断题)
  • NVIDIA在CES 2025上的三大亮点:AI芯片、机器人与自动驾驶、全新游戏显卡
  • [创业之路-241]:《从偶然到必然-华为研发投资与管理实践》-2- IPD流程中的业务线、技术线、职能支撑线
  • 【STM32】I2C为什么要开漏输出和上拉电阻
  • [微服务]redis主从集群搭建与优化
  • 前端 动图方案
  • 【Axure高保真原型】环形进度条(开始暂停效果)
  • 装修房子,你会选购灯和搭配灯光吗?
  • 【竞技宝】CS2:HLTV2024职业选手排名TOP8-broky
  • 智能座舱︱AUTO TECH China 2025广州国际汽车智能座舱及车载显示技术展览会于11月盛大开幕
  • 【网络云SRE运维开发】2025第2周-每日【2025/01/07】小测-【第7章 GVRP链路捆绑】理论和实操解析
  • Qt 5.14.2 学习记录 —— 삼 初级认识