弹性资源组件集成系列(二)elastic-job集成弹性资源设计解释
简介
弹性组件集成有弹性需求的组件,为组件增加高弹性容量,规划集成datax,elastic-job,xxl-job,sentinel dashboard,dolphinscheduer,eventbridge
elastic-job使用zookeeper实现分布式调度,支持分片,容错,但worker节点需预先启动,参与该作业的worker参与分片,节点规模需预先计算,启动相应数量的worker数
弹性资源组件基于k8s的资源管理能力,动态申请资源,资源管理使用flink的声明式管理,集成组件声明需要资源数量,弹性资源组件的资源管理器先分片可用资源,若不足,计算并申请新的worker,worker启动注册资源,可用资源增加,资源管理器继续分配
本文介绍弹性资源组件的集成架构设计,elastic-job分片集成弹性资源设计解释