注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.11.4 | - |
4.2.4.3 | 新增统计指标,便于用户排查运行问题 支持通过「任务控制-任务属性>高级属性」设置单个任务的内存 |
1.2 功能说明
FineDataLink 支持对实时任务进行管理、监控,查看任务运行情况,快速查看脏数据。
2. 任务开发界面编辑
配置项 | 说明 |
---|---|
重置启动 | 初始化任务,按照输入算子的同步方式,从头开始同步 |
启动 | 从上次暂停的位置启动,暂停时间段中的数据变化都会补充 |
参数列表 | 与定时任务中的自定义参数(静态参数)一致 |
任务控制 | 1)任务控制-容错机制(不支持超时限制) 4)任务控制-任务属性-高级属性 可以通过设置修改单个实时任务的内存,在任务编辑界面输入参数 taskMemoryLimit,值为需要设置的内存,最小为 20 ,单位 M,如下图所示: 在启动任务后会看到单个实时任务的内存修改为 20 M,如下图所示: 任务运行时,从分配给实时任务的总运行内存中,扣除相应的内存资源,例如实时总内存 500 M,给一个任务分配了50M,那么其他任务运行检测时剩余可用就是 450。 |
任务信息 | 配置任务名称和描述 |
3. 任务运维编辑
配置项 | 说明 |
---|---|
任务状态 |
|
运行日志 |
|
3.1 日志
详情参见:实时任务运行日志介绍
3.2 统计
3.2.1 每秒输出数据量
意义:
查看任务中每个执行单元的输出速度,用于观察哪个执行单元是否造成性能阻塞。
当执行单元的上游执行单元的背压比较大,且该执行单元的每秒处理数量较小时,说明是该执行单元的处理速度较慢
1)当包含输入算子的执行单元长期无背压,并且它每秒输出数量小于源端每秒产生的数量时,说明是输入源读取数据的速度较慢
2)当包含输出算子的执行单元的上游执行单元的长期背压时,并且它每秒输出数量较小时,说明是输出源输出数据的速度较慢
3)当该执行单元本身的背压也比较大时,说明可能是下游执行单元的处理速度较慢
定义:
执行单元每秒输出数据的数量
「维度表输入」不支持该功能
每一秒记录一条明细数据,记录该执行单元当前时间点,累计输出数量。
可以按照执行单元和时间查看每秒输出数据量,如下图所示:
同时如果任务正在运行中,可以暂停自动刷新,暂停后每秒输出数据图表将停止刷新,如下图所示:
3.2.2 输入数量
意义:
查看任务中每一个执行单元的输入数量,用于查看是否与上游执行单元的输出数量是否一致,排查算子间处理是否丢数据。
定义:
执行单元自当前启动以来输入的数量。
记录一条数据即可
取值:会取自启动以来输入的数量。
3.2.3 输出数量
意义:
查看任务中每一个执行单元的输出数量,用于帮助开发用户理解执行单元的处理逻辑,并确定是否符合自己的预期。
定义:
执行单元自当前启动以来输出的数量
记录一条数据即可
取值:自启动以来输出的数量
3.2.4 背压
意义:
代表每个执行单元受下游执行单元处理速度的影响水平。
如果背压较大,说明当前执行单元处理速度大于下一个执行单元的处理速度,性能阻塞主要出在下一个执行单元。
如果背压较小,说明当前执行单元的处理速度与下一个执行单元的处理速度差不多,两个执行单元没有性能阻塞。
定义:
执行单元是否存在背压。
不存具体的数据;
按照实时运行情况,显示执行单元是否存在背压。