.hive-staging_hive临时文件处理
.hive-staging_hive临时文件不删除原因:
通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。
解决办法:
hive-site.xml 服务高级配置代码段(安全阀)和 客户端高级配置代码段(安全阀),增加配置:
<property>
<name>hive.insert.into.multilevel.dirs</name>
<value>true</value>
<description>允许生成多级目录</description>
</property>
<property>
<name>hive.exec.stagingdir</name>
<value>/tmp/hive/staging/.hive-staging</value>
<description>临时文件暂放目录</description>
</property>