Apache DolphinScheduler系列3-任务配置经验分享
文章目录
- 整体说明
- 一、资源中心任务组上限问题
-
- 1.1、 现象
- 1.2、解决方案
- 二、任务运维问题
-
- 2.1、现象
- 2.1、解决方案
- 三、循环任务死锁
-
- 3.1、现象
- 3.2、解决办法
- 四、依赖任务死锁
-
- 4.1、现象
- 4.2、解决办法
摘要： Apache DolphinScheduler系列3-任务配置经验分享
关键词： 大数据、数据质量、数据调度
整体说明
在调研了 DolphinScheduler 之后，在项目上实际使用了一段时间，有了一些任务配置实际经验，分享如下。
一、资源中心任务组上限问题
【资源容量】: 允许任务实例并发的最大数量。
1.1、 现象
当我们部署方式是standalone时，资源容量默认值是 10，如下截图
如果我们调整这个上限，很容易就出现Task和scheduler failed，这就表示同时运行的任务超过上限了
1.2、解决方案
所以，如果不改变部署方式，我们尽量去拆分任务运行的时间，不要让同一时间点运行任务过多
二、任务运维问题
2.1、现象
从如下截图可