数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]

idea (43) 2023-03-25 09:04

Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效],希望能够帮助你!!!。

说明

调度管控是指运维监控人员对作业容器,和作业的人工干预过程。对于作业容器来说,可以进行启动、停止,暂停、取消暂停,重置,重载。以及重新设置作业容器的运行参数和并行度。对于作业来说,可以进行执行、运行依赖、中断、中断循环,禁用、禁用一次、启用,强制跳过,锁定,置顶优先级等操作。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第1张

激活调度

激活调度特指启动具备自动化运行特征的作业容器:主控流及定时器。而不具备自动化运行特征的作业容器:作业流启动后,从开始到结束运行一次后就退出了,不适用激活概念。

列表中展示了主控流、定时器相关信息:如运行批次、运行状态、发布状态等。通过工具栏的工程范围、作业容器类型以及关键字筛选作业容器。在列表中选定(可多选)需要激活的作业容器。在右侧操作面板中点击“立即激活”按钮,弹出“启动容器”执行窗口,点击“确认”按钮开始激活作业容器。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。请注意已经启动的作业容器不能再次激活。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第2张

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第3张

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第4张

​右侧操作面板还提供了设置作业容器运行变量值的快捷方式。

停止激活

停止激活也是特指停止具备自动化运行特征的作业容器:主控流及定时器。操作过程和前面**“激活容器”**类似,不再累述。停止方式有两种:

1. **停止:**发起停止命令,并等待运行中的作业结束。

2. **停止并中断作业:**发起停止命令,并尝试中断正在运行的作业。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第5张

​注:中断作业默认会调用系统命令杀死作业的程序进程。如果作业进程由第三方容器管理,则需要配置作业类型的停止插件,由停止插件调用第三方容器去中断程序进程。

并行度

作业容器的并行度用于控制其内部作业同时运行数量。是比平台节点并行度更细粒度的,控制作业并发运行的参数。列表中展示了作业容器当前的并行度。在**“新并行度”单元格中输入数值,同时选定需要修改的作业容器数据行之后,在右侧操作面板中点击“确认重设”按钮,弹出“批量设置并行度”窗口,点击“确定”按钮开始执行。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”**栏中报告执行状态。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第6张

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第7张

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第8张

变量维护

变量分为平台变量(只读),工程变量及作业容器的私有变量。在左侧的筛选范围区域,对变量按工程口径进行筛选。在变量列表的**“重定义值”单元格中输入新值,同时选定需要修改的变量数据行之后,点击“确定”按钮弹出“修改变量”对话框,点击“确定”按钮开始执行。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”**栏中报告执行状态。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第9张

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第10张

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第11张

​批量操作

批量操作是对作业容器进行批量**“启动”“停止”“停止并中断”“重置”“重载”“暂停”“取消暂停”操作。列表中展示了所有类型作业容器的相关信息:如运行批次、运行状态、发布状态等。通过工具栏的工程范围、作业容器类型以及关键字筛选作业容器。在列表中选定(可多选)需要操作的作业容器。在右侧操作面板中选择操作命令后,点击“立即操作”按钮弹出“批量操作”执行窗口,点击“确认”**按钮开始执行批量命令。批量执行过程中,可以中断未执行的操作。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第12张

​完毕后在**“执行结果”**栏中报告执行状态。操作方式详解如下:

_1. 启动:_以正常模式启动作业容器。

_2. 停止:_发起停止命令,并等待运行中的作业结束。

_3. 停止并中断作业:_发起停止命令,并尝试中断正在运行的作业。

_4. 重置:_设置所有作业运行状态为初始未运行状态(作业容器必须处于停止状态)。

_5. 重载:_加载最新发布的作业容器信息,并设置所有作业的运行状态为初始未运行状态。(作业容器必须处于停止状态)。

_6. 暂停:_作业容器运行完当前作业后,锁定不运行后续作业。

_7. 取消暂停:_将作业容器的暂停状态恢复政策,继续运行后续作业。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第13张

​作业管控

批量操作是对作业进行批量**“执行”“运行依赖”“中断”“中断循环”“强制通过”“启用”“永久禁用”“禁用一次”“锁定”“解除锁定”“禁用日期计划”“启用日期计划”“置顶优先级”**操作。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第14张

​点击**“筛选条件”**按钮,弹出筛选面板。快速筛选提供了常用作业运行状态和特性的快捷方式。还可以通过工程、容器类型和容器范围,作业类型,作业运行的平台节点,以及作业的运行状态等条件进行自定义筛选。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第15张

​列表中展示作业的属性和相关运行信息:所属工程,所属容器,名称,类型,描述和运行情况、运行代理。

在列表中选定(可多选)需要操作的作业。在右侧操作面板中选择操作命令后,点击**“立即操作”按钮弹出“批量操作”执行窗口,点击“确认”按钮开始执行批量命令。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”**栏中报告执行状态。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第16张

操作方式详解如下:

_1. 执行:_在作业容器启动的情况下执行作业。运行中的作业不能再次执行。通常用在自由模式启动的作业容器,及需要人工执行的作业。

_2. 运行依赖:_在作业容器启动的情况下,运行作业及后续依赖作业链。

_3. 中断:_中止当前正在运行的作业。中断成功后,作业呈“失败状态”。

_4. 中断循环:_中止正在循环的作业或模块。中断循环作业之后,作业呈“失败状态”。中断循环模块节点后,模块及其内部所有作业将呈“循环中断跳过”状态。

_5. 强制通过:_只能操作失败状态的作业。强制通过后,作业呈“强制通过”状态。

_6. 启用:_启用的作业能正常参与调度执行。

_7. 永久禁用:_永久跳过作业。跳过执行的作业呈“无效通过”状态。

_8. 禁止一次:_跳过下一次执行后恢复启用状态。跳过执行的作业呈“无效通过”状态。

_9. 锁定:_流程容器(主控流 / 作业流)运行到锁定作业,暂停执行该作业。流程容器处于暂停状态。

_10. 解除锁定:_如果流程容器因作业处于锁定状态而暂停,取消作业的锁定状态后流程容器将继续运行。

_11. 禁用日期计划:_取消作业period日期计划的调度策略。

_12. 启用日期计划:_恢复作业period日期计划的调度策略。

_13. 置顶优先级:_设置处于运行队列中的作业为最高优先级。

操作日志

记录了当前登录用户对平台内所有关键信息的操作日志。在工具栏中可按时间范围筛选日志信息。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第17张

运行分析

作业容器经过一段时期的调度运行之后,会生产出许多数据。如作业日志和历史记录,作业容器的日志和历史记录等。通过分析这些数据,能帮助用户更好的掌握调度平台使用情况,进一步提高平台的使用效率提供数据参考依据。

数据仓库ETL运维平台TASKCTL调度管控方式[亲测有效]_https://bianchenghao6.com/blog_idea_第18张

**​产品官网:**www.taskctl.com

发表回复