HDFS组件相关问题-持续更新
异常信息:
The directory item of /warehouse/tablespace/external/hive/xxx is exceeded: limit 1048576 items=1048576
解决:
增加参数值:dfs.namenode.fs-limits.max-directory-items 默认为1048576
异常信息:
Unable to close file because the last block BP-1526737994-134.64.12.11-1461079857466:blk_22515616209_23721099359 does not have enough number of replicas.
原因:
最后一个block块没有足够的副本而不能关闭文件会抛出此异常. 一般是和datanode节点资源以及磁盘IO 有关系(需要具体排查)
解决:
一般都是通过增加重试次数来缓解: dfs.client.block.write.locateFollowingBlock.retries