单个实时任务管理

  • 产品级协助
  • 文档创建者:Roxy
  • 历史版本:8
  • 最近更新:Roxy 于 2025-03-19
  • 注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    4.1.11.4-
    4.2.4.3

    新增统计指标,便于用户排查运行问

    支持通过「任务控制-任务属性>高级属性」设置单个任务的内存

    支持根据时间查看任务的使用内存情况

    1.2 功能说明

    FineDataLink 支持对实时任务进行管理、监控,查看任务运行情况,快速查看脏数据。

    2. 任务开发界面

    配置项说明
    重置启动

    初始化任务,按照输入算子的同步方式,从头开始同步

    启动从上次暂停的位置启动,暂停时间段中的数据变化都会补充
    参数列表与定时任务中的自定义参数(静态参数)一致
    任务控制

    1)任务控制-容错机制(不支持超时限制

    2)任务控制-结果通知

    3)任务控制-任务属性-日志等级设置

    4)任务控制-任务属性-高级属性

    可以通过设置修改单个实时任务的内存,在任务编辑界面输入参数 taskMemoryLimit,值为需要设置的内存,最小为 20 ,单位 M,如下图所示:

    在启动任务后会看到单个实时任务的内存修改为 20 M,如下图所示:

    任务运行时,从分配给实时任务的总运行内存中,扣除相应的内存资源,例如实时总内存 500 M,给一个任务分配了50M,那么其他任务运行检测时剩余可用就是 450。

    任务信息配置任务名称和描述

    3. 任务运维

    3.1 日志管理

    在任务运行状态或者暂停状态下,可以根据「脏数据」、「运行结果」、「启动时间」、「结束时间」进行筛选,查看任务运行的具体日志,如下图所示:

    启动方式:

    • 启动:按照任务的状态进行启动

    • 重置启动:清空任务所有的状态,按照输入算子的同步方式,从头开始同步。

    3.2 日志

    详情参见:实时任务运行日志介绍

    3.3 统计

    3.3.1 每秒输出数据量

    意义:

    查看任务中每个执行单元的输出速度,用于观察哪个执行单元是否造成性能阻塞。

    当执行单元的上游执行单元的背压比较大,且该执行单元的每秒处理数量较小时,说明是该执行单元的处理速度较慢

    1)当包含输入算子的执行单元长期无背压,并且它每秒输出数量小于源端每秒产生的数量时,说明是输入源读取数据的速度较慢

    2)当包含输出算子的执行单元的上游执行单元的长期背压时,并且它每秒输出数量较小时,说明是输出源输出数据的速度较慢

    3)当该执行单元本身的背压也比较大时,说明可能是下游执行单元的处理速度较慢

    定义:

    执行单元每秒输出数据的数量

    • 「维度表输入」不支持该功能

    • 每一秒记录一条明细数据,记录该执行单元当前时间点,累计输出数量。

    可以按照执行单元和时间查看每秒输出数据量,如下图所示:


    同时如果任务正在运行中,可以暂停自动刷新,暂停后每秒输出数据图表将停止刷新,如下图所示:

    3.3.2 输入数量

    意义:

    查看任务中每一个执行单元的输入数量,用于查看是否与上游执行单元的输出数量是否一致,排查算子间处理是否丢数据

    定义:

    执行单元自当前启动以来输入的数量。

    • 记录一条数据即可

    • 取值:会取自启动以来输入的数量。

    3.3.3 输出数量

    意义:

    查看任务中每一个执行单元的输出数量,用于帮助开发用户理解执行单元的处理逻辑,并确定是否符合自己的预期。

    定义:

    执行单元自当前启动以来输出的数量

    • 记录一条数据即可

    • 取值:自启动以来输出的数量


    3.3.4 背压

    意义:

    代表每个执行单元受下游执行单元处理速度的影响水平。

    如果背压较大,说明当前执行单元处理速度大于下一个执行单元的处理速度,性能阻塞主要出在下一个执行单元。

    如果背压较小,说明当前执行单元的处理速度与下一个执行单元的处理速度差不多,两个执行单元没有性能阻塞。

    定义:

    执行单元是否存在背压。

    • 不存具体的数据;

    • 按照实时运行情况,显示执行单元是否存在背压。

    3.4 性能指标

    在任务运行状态中,可以根据根据时间查看单个任务实际使用内存情况,如下图所示:

    • 每1min,记录一条明细数据

    • 取值:从一分钟内取实际使用内存的最大值

    作用:

    1)判断分给当前任务的内存是否足够

    • 如果调大任务的内存,可能会加快任务数据处理速度

    • 如果资源比较紧张,可以适当调低当前任务的内存

    当任务的整体的使用内存比较低,说明任务整体处理数据的速度,大于源端数据产生的速度;

    当任务的整体的使用内存较高时,说明任务整体处理数据的速度,小于源端数据产生的速度。

    2)预估整个实时任务模块需要多少内存。



      附件列表


      主题: 任务运维
      • 有帮助
      • 没帮助
      • 只是浏览
      中文(简体)

      鼠标选中内容,快速反馈问题

      鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

      不再提示

      8s后关闭



      AI

      联系我们
      在线支持
      获取专业技术支持,快速帮助您解决问题
      工作日9:00-12:00,13:30-17:30在线
      页面反馈
      针对当前网页的建议、问题反馈
      售前咨询
      采购需求/获取报价/预约演示
      或拨打: 400-811-8890 转1
      qr
      热线电话
      咨询/故障救援热线:400-811-8890转2
      总裁办24H投诉:17312781526
      提交页面反馈
      仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持

      反馈已提交

      网络繁忙