反馈已提交

网络繁忙

实时采集任务运维

  • 文档创建者:Wendy123456
  • 历史版本:5
  • 最近更新:Wendy123456 于 2025-06-27
  • 1. 概述

    1.1 版本

    FineDataLink 版本
    功能变动
    4.2.4.3新增实时采集任务
    4.2.6.3

    1)新增依赖关系Tab:展示依赖该实时采集任务的管道任务列表、实时任务列

    2)来源为 Oracle、MySQL、SQLServer 时,显示「日志解析延迟时间」

    3)解析中的表Tab:新增实时统计、历史统计

    4)可查看所有数据采集任务的运行情况

    1.2 功能简介

    实时采集任务 被自动创建后,可在「管理系统>数据连接>实时采集任务」中查看运行详情。如下图所示:

    30.png

    2. 管理实时采集任务

    2.1 筛选实时采集任务

    可通过连接名称、任务名称、解析表、任务状态对实时采集任务进行筛选。如下图所示:

    32.png

    任务状态说明:

    采集任务会在所有关联任务停止后,继续采集 24h,24h 后自动停止。

    • 待启动:实时采集任务被创建后的初始状态。

    • 启动中:从启动到任务实际开始运行的时间都处于「启动中」(过渡态)。

    • 运行中:任务正常运行。

    • 停止中:从任务运行到任务暂停的时间都处于「停止中」(过渡态)。

    • 已停止:任务已停止运行。

    • 运行错误:任务在启动过程中或者运行中,因为遇到报错停止运行。

    2.2 重命名/删除实时采集任务

    当一个实时采集任务中所有表的 CDC 数据收集都被删除时,会自动暂停该实时采集任务,对于暂停的任务,用户可以手动删除任务。

    33.png

    3. 单个实时采集任务运维

    选中单个实时采集任务,可查看实时采集任务的基本信息、解析中的表、依赖关系、运行日志。如下图所示:

    35.png

    3.1 基本信息

    用户可点击1747882217849013.png按钮,修改实时采集任务的名称;可在此处查看实时采集任务的数据连接名称、读取方式、任务创建时间、最新读取消息时间、日志解析延迟时间(4.2.6.3 及之后版本新增)。如下图所示:

    1747882179512421.png

    仅来源为 Oracle、MySQL、SQLServer 时,才显示「日志解析延迟时间」:

    数据库类型
    额外展示信息计算逻辑
    Oracle、MySQL
    • 源库可用日志时间:源库全量日志的最早SCN及对应时间

    • 当前解析日志时间:当前任务解析到的SCN及对应时间(当选择部分表同步的时候,该事件可能和当前读取消息时间不同

    • 源库最新日志时间:源库全量日志的最新SCN及对应时间

    3.png

    日志解析延迟时间=源库当前时间 - 源库最新日志时间
    SQLServer -
    • 先进行单表延迟计算:源库当前时间 - 源表对应 CDC 表的最新消息时间

    • 再对所有单表延迟取最小值,获取到任务的活跃事务延迟

    3.2 解析中的表

    注:4.2.6.3 及之后版本新增实时统计历史统计Tab。

    3.2.1 实时统计

    界面如下图所示:

    1747882599568048.png

    设置项
    说明
    指标:读取总量

    任务所有表读取的总消息量(仅包含增量部分

    已读取的消息,分增删改展示;读取总量=插入数据量+更新数据量+删除数据量

    表格数据列说明

    读取量:任务内单表读取消息总量(仅包含增量部分

    分增删改展示:

    39.png

    3.2.2 历史统计

    界面如下图所示:

    1747883339641474.png

    1)用户可选择近2小时、近24小时、近3天、近7天、近15天时间段,查看读取详情。如下图所示:

    1747883565137524.png

    2)指标卡-读取总量以柱形图展示,支持点击放大查看,展示每个等分时间段内的任务所有表读取消息的增量。如下图所示:

    可查看指定时间段内的数据增删改情况;支持通过当前任务、来源表进行筛选。

    1747883678978476.png

    3.3 依赖关系

    注:4.2.6.3 及之后版本新增「依赖关系Tab。

    展示依赖该实时采集任务的管道任务列表、实时任务列表,展示对应管道/实时任务的任务名称、任务类型、任务状态、使用的表。如下图所示:

    1747883994131141.png

    点击任务名称,可跳转到对应的管道/实时任务。

    3.4 运行日志

    展示该实时采集任务的运行日志。如下图所示:

    1747884052923603.png

    可对任务运行日志进行筛选。如下图所示:

    1747884116697474.png

    4. 所有实时采集任务运维

    实时采集任务列表中,点击「所有任务,可查看所有实时采集任务的运行情况。如下图所示:

    注:4.2.6.3 及之后版本,支持该功能。

    2.png

    可点击任务名称,








    附件列表


    主题: 运维中心
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持