最新历史版本 :实时任务运维示例 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

用户开发实时任务,此时想要查看实时任务的状态和运行情况,本文将按照用户的操作流程,详细进行相关功能的讲解。

2. 单个任务开发调试阶段编辑

2.1 运行任务报错

用户开发了一个实时任务,想要运行看看效果,在首次运行任务的时候,若任务报错超出资源限制,如下图所示:

则可以在负载分配下按照报错提示调整内存或者并发,如下图所示:

2.2 校验算子设置是否正确

用户想要查看数据同步的数量,确定是否符合自己的预期,并排查算子间处理是否丢数据。此时可以点击「统计」,看到每一个算子的输入、输出情况,以及每个执行单元的每秒输出数据量,如下图所示:

2.3 查看任务运行状态

用户想要查看前端日志,确认任务是不是在运行的,可以点击在任务日志下,看到 kafka 心跳日志,在持续同步数据时,「当前读取的日志时间」、「当前FDL服务器时间」这两个属性,每隔5S的心跳日志,都实时刷新,如下图所示:

2.4 排查实时任务性能阻塞

当实时任务同步数据的速度,小于源端产生新数据的速度时,用户想看出阻塞同步速度的算子,是在源端读取上、还是处理过程、还是输出端,以便进行优化。

查看任务中每个执行单元的输出速度,用于观察哪个执行单元是否造成性能阻塞。

同时可以查看每个执行单元的背压,代表每个执行单元受下游执行单元处理速度的影响水平。

当执行单元的上游执行单元的背压比较大,且该执行单元的每秒处理数量较小时,说明是该执行单元的处理速度较慢

1)当包含输入算子的执行单元长期无背压,并且它每秒输出数量小于源端每秒产生的数量时,说明是输入源读取数据的速度较慢

2)当包含输出算子的执行单元的上游执行单元的长期背压时,并且它每秒输出数量较小时,说明是输出源输出数据的速度较慢

3)当该执行单元本身的背压也比较大时,说明可能是下游执行单元的处理速度较慢。

3. 批量规模运行阶段编辑

3.1 查看任务内存

希望看到每个实时任务运行的内存,同时调整单个任务运行内存,为高优先级的任务分配更多的内存。

可以在任务编辑界面(任务暂停运行)设置「任务控制>任务属性」,设置内存,如下图所示:

详情参见:单个实时任务管理

3.2 清理运行记录和日志

用户需要管理实时任务的日志和运行记录,避免运行日志太多影响工程运行。

详情参见:清理操作日志&业务日志

3.3 批量运行任务

当因为工程重启或者源端导致任务暂停时,想要把所有任务都批量运行起来,此时可以在运维中心进行批量启动,如下图所示:

并且若工程重启时,会自动启动任务。