一次线程数超限导致的hive写入hbase作业失败分析
1.集群配置
操作系统：SuSe操作系统
集群节点：100台相同配置的服务器
单台：核心112Core，内存396G
2.问题现象
现象1：跑单个入库任务报错，批量提交任务后出现OOM异常
执行12个hivesql,将数据写入hbase.hbase入库有近一半的任务报错。
每次报错的任务不是同一个，hivesql任务分为2个阶段：
第1个阶段是hive自处理阶段，底层是spark计算引擎。出现oom,无法开启新的本地线程
第2阶段是以parquet格式生成Hfile写入hbase，出现如下报错：
OutOfMemoryError: unable to create new native thread异常
现象2：报错 Container [pid=XXX,containerID=container_1XXX] is running beyond virtual memory limits
以及 spark.deploy.yarn.ApplicationMaster: received term signal
3.问题分析
3.1 OOM异常分析
OutOfMemoryError: unable to create new native thread异常，一般是因