当前位置: 首页 > article >正文

.hive-staging_hive临时文件处理

.hive-staging_hive临时文件不删除原因:
通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。

解决办法:
hive-site.xml 服务高级配置代码段(安全阀)和 客户端高级配置代码段(安全阀),增加配置:

<property>
    <name>hive.insert.into.multilevel.dirs</name>
    <value>true</value>
    <description>允许生成多级目录</description>
</property>
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/hive/staging/.hive-staging</value>
    <description>临时文件暂放目录</description>
</property>

http://www.kler.cn/a/564461.html

相关文章:

  • 【人工智能】数据挖掘与应用题库(201-300)
  • Python连接SQL SEVER数据库全流程
  • python 网络安全常用库 python做网络安全
  • Cookie与Session:Web开发中的状态管理机制
  • 怎么进行稀疏矩阵转化
  • fd,重定向与缓冲区
  • React + TypeScript 实现数据模型驱动 SQL 脚本生成
  • 阿里开源正式开园文生视频、图生视频模型-通义万相 WanX2.1
  • 使用AGM迭代公式和高精度数学计算开源库gmp计算圆周率小数点后1000位
  • SpringBoot整合SpringSecurity、MyBatis-Plus综合实例:认证、授权
  • Cannot find a valid baseurl for repo: base/7/x86_64
  • 从零构建知识库:AI如何实现“问题即答案”?
  • 学习路程八 langchin核心组件 Models补充 I/O和 Redis Cache
  • 在android studio上使用rknn模块下面的yolov8_pose模型
  • 嘉孚朗SDP系列伺服螺丝刀使用介绍
  • C# 确保程序只有一个实例运行
  • shell脚本的相关练习--->分支结构---->循环结构
  • yolo11 training benchmark [i7-13700 vs nvidia 3090]
  • Staruml软件的介绍安装uml类图的绘制流程
  • 第8章:流式海啸:数据重构