当前位置: 首页 > article >正文

解决HiveSQL查询出现Java.lang.OutMemoryError.java heap space

使用Hive时,出现了以下问题时:

这个问题有的是没有资源导致的,有时的是因为计数器太多,超出了MapReduce的计算数的最大值。所以这个时候一定要看系统日志:/tmp/hadoop/hive.log

关于日志路径的说明:中间的hadoop是当前系统登录的用户

这篇文章主要解决资源不足的情况:

故知具体错误原因为JVM资源分配不够

接下来可以尝试这几种方法

方法一:调整Yarn资源分配

编辑yarn-site.xml修改yarn的分配资源量

vim /opt/ha/hadoop-3.1.3/etc/hadoop/yarn-site.xml

添加如下配置:

<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
</property>
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>4096</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
</property>
<property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx2048m</value>
</property>

分发到其他服务器,重启yarn

方法二:Hive堆栈资源分配

查看hive-env.sh可以发现默认分配给Hive堆栈的资源是256MB,这个才是最根本的问题

调整资源,设置为4096即可:


http://www.kler.cn/a/513314.html

相关文章:

  • TCP断开通信前的四次挥手(为啥不是三次?)
  • 软件授权产品介绍
  • 游戏引擎学习第80天
  • 使用Chrome和Selenium实现对Superset等私域网站的截图
  • Java设计模式—观察者模式
  • MySQL 很重要的库 - 信息字典
  • graylog~认识一下-日志管理平台
  • Freemarker和ItextPDF实际应用
  • GBase8c aes_encrypt和aes_decrypt函数
  • mysql的测试方案
  • P8738 [蓝桥杯 2020 国 C] 天干地支
  • Oracle 深入学习 Part 14:Managing Password Security and Resources(管理密码安全性和资源)
  • python中Mako用法
  • 深入探索Math.NET:开启高效数值计算之旅
  • C++通过输入3D相机像素点集{u、v、z}和机械手世界坐标点集{X、Y、Z}求得变换矩阵RT(眼在手外)
  • 将 Docker 安装到 Windows 的 D 盘的方法
  • 麦田物语学习笔记:保存和加载场景中的物品
  • StyleGAN - 基于样式的生成对抗网络
  • 低度酒真的是酒精勾兑的吗?
  • 2024人工智能AI+制造业应用落地研究报告汇总PDF洞察(附原数据表)
  • 【Java数据结构】排序
  • 前端之移动端
  • 解锁Java中的国密算法:安全保障的密钥
  • Arweave的经济学模型
  • TiDB与Oracle:数据库之争,谁能更胜一筹?
  • HTML语言的数据结构