注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.11.4 | - |
4.2.4.3 | 新增统计指标,便于用户排查运行问题 支持通过「任务控制-任务属性>高级属性」设置单个任务的内存 支持根据时间查看任务的使用内存情况 |
1.2 功能说明
FineDataLink 支持对实时任务进行管理、监控,查看任务运行情况,快速查看脏数据。
2. 任务开发界面编辑
配置项 | 说明 |
---|---|
重置启动 | 初始化任务,按照输入算子的同步方式,从头开始同步 |
启动 | 从上次暂停的位置启动,暂停时间段中的数据变化都会补充 |
参数列表 | 与定时任务中的自定义参数(静态参数)一致 |
任务控制 | 1)任务控制-容错机制(不支持超时限制) 4)任务控制-任务属性-高级属性 可以通过设置修改单个实时任务的内存,在任务编辑界面输入参数 taskMemoryLimit,值为需要设置的内存,最小为 20 ,单位 M,如下图所示: 在启动任务后会看到单个实时任务的内存修改为 20 M,如下图所示: 任务运行时,从分配给实时任务的总运行内存中,扣除相应的内存资源,例如实时总内存 500 M,给一个任务分配了50M,那么其他任务运行检测时剩余可用就是 450。 |
任务信息 | 配置任务名称和描述 |
3. 任务运维编辑
3.1 日志管理
在任务运行状态或者暂停状态下,可以根据「脏数据」、「运行结果」、「启动时间」、「结束时间」进行筛选,查看任务运行的具体日志,如下图所示:
启动方式:
启动:按照任务的状态进行启动
重置启动:清空任务所有的状态,按照输入算子的同步方式,从头开始同步。
3.2 日志
详情参见:实时任务运行日志介绍
3.3 统计
3.3.1 每秒输出数据量
意义:
查看任务中每个执行单元的输出速度,用于观察哪个执行单元是否造成性能阻塞。
当执行单元的上游执行单元的背压比较大,且该执行单元的每秒处理数量较小时,说明是该执行单元的处理速度较慢
1)当包含输入算子的执行单元长期无背压,并且它每秒输出数量小于源端每秒产生的数量时,说明是输入源读取数据的速度较慢
2)当包含输出算子的执行单元的上游执行单元的长期背压时,并且它每秒输出数量较小时,说明是输出源输出数据的速度较慢
3)当该执行单元本身的背压也比较大时,说明可能是下游执行单元的处理速度较慢
定义:
执行单元每秒输出数据的数量
「维度表输入」不支持该功能
每一秒记录一条明细数据,记录该执行单元当前时间点,累计输出数量。
可以按照执行单元和时间查看每秒输出数据量,如下图所示:
同时如果任务正在运行中,可以暂停自动刷新,暂停后每秒输出数据图表将停止刷新,如下图所示:
3.3.2 输入数量
意义:
查看任务中每一个执行单元的输入数量,用于查看是否与上游执行单元的输出数量是否一致,排查算子间处理是否丢数据。
定义:
执行单元自当前启动以来输入的数量。
记录一条数据即可
取值:会取自启动以来输入的数量。
3.3.3 输出数量
意义:
查看任务中每一个执行单元的输出数量,用于帮助开发用户理解执行单元的处理逻辑,并确定是否符合自己的预期。
定义:
执行单元自当前启动以来输出的数量
记录一条数据即可
取值:自启动以来输出的数量
3.3.4 背压
意义:
代表每个执行单元受下游执行单元处理速度的影响水平。
如果背压较大,说明当前执行单元处理速度大于下一个执行单元的处理速度,性能阻塞主要出在下一个执行单元。
如果背压较小,说明当前执行单元的处理速度与下一个执行单元的处理速度差不多,两个执行单元没有性能阻塞。
定义:
执行单元是否存在背压。
不存具体的数据;
按照实时运行情况,显示执行单元是否存在背压。
3.4 性能指标
在任务运行状态中,可以根据根据时间查看单个任务实际使用内存情况,如下图所示:
每1min,记录一条明细数据
取值:从一分钟内取实际使用内存的最大值
作用:
1)判断分给当前任务的内存是否足够
如果调大任务的内存,可能会加快任务数据处理速度
如果资源比较紧张,可以适当调低当前任务的内存
当任务的整体的使用内存比较低,说明任务整体处理数据的速度,大于源端数据产生的速度;
当任务的整体的使用内存较高时,说明任务整体处理数据的速度,小于源端数据产生的速度。
2)预估整个实时任务模块需要多少内存。