最新历史版本 :单个实时任务管理 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.1.11.4-
4.2.4.3

新增统计指标,便于用户排查运行问

支持通过「任务控制-任务属性>高级属性」设置单个任务的内存

支持根据时间查看任务的使用内存情况

1.2 功能说明

FineDataLink 支持对实时任务进行管理、监控,查看任务运行情况,快速查看脏数据。

2. 任务开发界面编辑

配置项说明
重置启动

初始化任务,按照输入算子的同步方式,从头开始同步

启动从上次暂停的位置启动,暂停时间段中的数据变化都会补充
参数列表与定时任务中的自定义参数(静态参数)一致
任务控制

1)任务控制-容错机制(不支持超时限制

2)任务控制-结果通知

3)任务控制-任务属性-日志等级设置

4)任务控制-任务属性-高级属性

可以通过设置修改单个实时任务的内存,在任务编辑界面输入参数 taskMemoryLimit,值为需要设置的内存,最小为 20 ,单位 M,如下图所示:

在启动任务后会看到单个实时任务的内存修改为 20 M,如下图所示:

任务运行时,从分配给实时任务的总运行内存中,扣除相应的内存资源,例如实时总内存 500 M,给一个任务分配了50M,那么其他任务运行检测时剩余可用就是 450。

任务信息配置任务名称和描述

3. 任务运维编辑

3.1 日志管理

在任务运行状态或者暂停状态下,可以根据「脏数据」、「运行结果」、「启动时间」、「结束时间」进行筛选,查看任务运行的具体日志,如下图所示:

启动方式:

  • 启动:按照任务的状态进行启动

  • 重置启动:清空任务所有的状态,按照输入算子的同步方式,从头开始同步。

3.2 日志

详情参见:实时任务运行日志介绍

3.3 统计

3.3.1 每秒输出数据量

意义:

查看任务中每个执行单元的输出速度,用于观察哪个执行单元是否造成性能阻塞。

当执行单元的上游执行单元的背压比较大,且该执行单元的每秒处理数量较小时,说明是该执行单元的处理速度较慢

1)当包含输入算子的执行单元长期无背压,并且它每秒输出数量小于源端每秒产生的数量时,说明是输入源读取数据的速度较慢

2)当包含输出算子的执行单元的上游执行单元的长期背压时,并且它每秒输出数量较小时,说明是输出源输出数据的速度较慢

3)当该执行单元本身的背压也比较大时,说明可能是下游执行单元的处理速度较慢

定义:

执行单元每秒输出数据的数量

  • 「维度表输入」不支持该功能

  • 每一秒记录一条明细数据,记录该执行单元当前时间点,累计输出数量。

可以按照执行单元和时间查看每秒输出数据量,如下图所示:


同时如果任务正在运行中,可以暂停自动刷新,暂停后每秒输出数据图表将停止刷新,如下图所示:

3.3.2 输入数量

意义:

查看任务中每一个执行单元的输入数量,用于查看是否与上游执行单元的输出数量是否一致,排查算子间处理是否丢数据

定义:

执行单元自当前启动以来输入的数量。

  • 记录一条数据即可

  • 取值:会取自启动以来输入的数量。

3.3.3 输出数量

意义:

查看任务中每一个执行单元的输出数量,用于帮助开发用户理解执行单元的处理逻辑,并确定是否符合自己的预期。

定义:

执行单元自当前启动以来输出的数量

  • 记录一条数据即可

  • 取值:自启动以来输出的数量


3.3.4 背压

意义:

代表每个执行单元受下游执行单元处理速度的影响水平。

如果背压较大,说明当前执行单元处理速度大于下一个执行单元的处理速度,性能阻塞主要出在下一个执行单元。

如果背压较小,说明当前执行单元的处理速度与下一个执行单元的处理速度差不多,两个执行单元没有性能阻塞。

定义:

执行单元是否存在背压。

  • 不存具体的数据;

  • 按照实时运行情况,显示执行单元是否存在背压。

3.4 性能指标

在任务运行状态中,可以根据根据时间查看单个任务实际使用内存情况,如下图所示:

  • 每1min,记录一条明细数据

  • 取值:从一分钟内取实际使用内存的最大值

作用:

1)判断分给当前任务的内存是否足够

  • 如果调大任务的内存,可能会加快任务数据处理速度

  • 如果资源比较紧张,可以适当调低当前任务的内存

当任务的整体的使用内存比较低,说明任务整体处理数据的速度,大于源端数据产生的速度;

当任务的整体的使用内存较高时,说明任务整体处理数据的速度,小于源端数据产生的速度。

2)预估整个实时任务模块需要多少内存。