flink作业访问zk出现acl报错问题分析
# 问题现象
向yarn集群提交flink作业的时候会出现zk acl的异常
经确认:
1.zk 相关acl密码没有更改过
2.重新部署客户端配置后提交任务同样报错
3.修改flink的zk目录,重启后可以正常运行任务(在zk重新生了新的znode节点)
# 问题分析
1.首先确认是否是权限的问题,即程序中zk用户没有权限操作zk上的flink节点目录
确认集群上zookeeper的flink的acl权限,确认为flinkacl用户
命令:getAcl /flink
2.对比flink集群依赖环境里的jar文件是否一致,经确认和测试环境是一样的
3.在测试环境使用现场提交的命令对flink程序进行提交,是正常的
YARN_CONF_DIR=/etc/hadoop/yarn/conf.yarn/ flink run -d -t yarn-per-job
-Dyarn.application.name=testzk -Dparallelism.default=3
-Djobmanager.memory.process.size=1024mb
-Dtaskmanager.memory.process.size=2048mb
-Dtaskmanager.numberOfTaskSlots=2
-Dyarn.per-job-cluster.include-user-j