当前位置: 首页 > article >正文

flink作业访问zk出现acl报错问题分析

# 问题现象
向yarn集群提交flink作业的时候会出现zk acl的异常
 
经确认:
1.zk 相关acl密码没有更改过
2.重新部署客户端配置后提交任务同样报错
3.修改flink的zk目录,重启后可以正常运行任务(在zk重新生了新的znode节点)
   

# 问题分析
1.首先确认是否是权限的问题,即程序中zk用户没有权限操作zk上的flink节点目录
确认集群上zookeeper的flink的acl权限,确认为flinkacl用户
命令:getAcl /flink

2.对比flink集群依赖环境里的jar文件是否一致,经确认和测试环境是一样的
 
3.在测试环境使用现场提交的命令对flink程序进行提交,是正常的
YARN_CONF_DIR=/etc/hadoop/yarn/conf.yarn/ flink run -d -t yarn-per-job 
-Dyarn.application.name=testzk -Dparallelism.default=3 
-Djobmanager.memory.process.size=1024mb 
-Dtaskmanager.memory.process.size=2048mb 
-Dtaskmanager.numberOfTaskSlots=2
-Dyarn.per-job-cluster.include-user-j


http://www.kler.cn/a/595525.html

相关文章:

  • epoll成员函数介绍
  • 蓝桥每日打卡--区间移位
  • 在Ubuntu20.04上交叉编译能在Windows上运行的Qt5应用
  • AI大白话(三):深度学习——AI的‘大脑‘是如何构建的?
  • 【机密计算顶会解读】11:ACAI——使用 Arm 机密计算架构保护加速器执行
  • 四种事件类型
  • Blender模型旋转动画制作
  • C++异常处理时的异常类型抛出选择
  • 一文速通Python并行计算:00 并行计算的基本概念
  • 3.8、密钥管理与应用
  • Ambari湖仓集成怎么选?Hudi,Iceberg,Paimon
  • 牛贝跟卖软件Niubox如何上架产品?
  • 【高并发内存池】第三弹---构建Central Cache的全方位指南——从整体设计到核心实现
  • Word中公式自动标号带章节编号
  • QT日志级别设置
  • 1.无穷小的比较
  • fastapi+angular实现菜鸟驿站系统
  • Bell-1量子计算机分析:开启量子计算2.0时代的创新引擎
  • 音视频系列——Websockets接口封装为Http接口
  • 《沉思录》