实时任务运维示例

用户开发实时任务，此时想要查看实时任务的状态和运行情况，本文将按照用户的操作流程，详细进行相关功能的讲解。

2.1 运行任务报错

用户开发了一个实时任务，想要运行看看效果，在首次运行任务的时候，若任务报错超出资源限制，如下图所示：

则可以在负载分配下按照报错提示调整内存或者并发，如下图所示：

2.2 校验算子设置是否正确

用户想要查看数据同步的数量，确定是否符合自己的预期，并排查算子间处理是否丢数据。此时可以点击「统计」，看到每一个算子的输入、输出情况，以及每个执行单元的每秒输出数据量，如下图所示：

2.3 查看任务运行状态

用户想要查看前端日志，确认任务是不是在运行的，可以点击在任务日志下，看到 kafka 心跳日志，在持续同步数据时，「当前读取的日志时间」、「当前FDL服务器时间」这两个属性，每隔5S的心跳日志，都实时刷新，如下图所示：

2.4 排查实时任务性能阻塞

当实时任务同步数据的速度，小于源端产生新数据的速度时，用户想看出阻塞同步速度的算子，是在源端读取上、还是处理过程、还是输出端，以便进行优化。

查看任务中每个执行单元的输出速度，用于观察哪个执行单元是否造成性能阻塞。

同时可以查看每个执行单元的背压，代表每个执行单元受下游执行单元处理速度的影响水平。

当执行单元的上游执行单元的背压比较大，且该执行单元的每秒处理数量较小时，说明是该执行单元的处理速度较慢

1）当包含输入算子的执行单元长期无背压，并且它每秒输出数量小于源端每秒产生的数量时，说明是输入源读取数据的速度较慢

2）当包含输出算子的执行单元的上游执行单元的长期背压时，并且它每秒输出数量较小时，说明是输出源输出数据的速度较慢

3）当该执行单元本身的背压也比较大时，说明可能是下游执行单元的处理速度较慢。

3.1 查看任务内存

希望看到每个实时任务运行的内存，同时调整单个任务运行内存，为高优先级的任务分配更多的内存。

可以在任务编辑界面（任务暂停运行）设置「任务控制>任务属性」，设置内存，如下图所示：

详情参见：单个实时任务管理

3.2 清理运行记录和日志

用户需要管理实时任务的日志和运行记录，避免运行日志太多影响工程运行。

详情参见：清理操作日志&业务日志

3.3 批量运行任务

当因为工程重启或者源端导致任务暂停时，想要把所有任务都批量运行起来，此时可以在运维中心进行批量启动，如下图所示：

并且若工程重启时，会自动启动任务。