历史版本4 :实时采集任务运维 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本
功能变动
4.2.4.3新增实时采集任务
4.2.6.3

1.2 功能简介

实时采集任务 被自动创建后,可在「管理系统>数据连接>实时采集任务」中查看运行详情。如下图所示:

30.png

2. 管理实时采集任务编辑

2.1 筛选实时采集任务

可通过连接名称、任务名称、解析表、任务状态对实时采集任务进行筛选。如下图所示:

32.png

任务状态说明:

  • 待启动:实时采集任务被创建后的初始状态。

  • 启动中:从启动到任务实际开始运行的时间都处于「启动中」(过渡态)。

  • 运行中:任务正常运行。

  • 停止中:从任务运行到任务暂停的时间都处于「停止中」(过渡态)。

  • 已停止:任务已停止运行。

  • 运行错误:任务在启动过程中或者运行中,因为遇到报错停止运行。

2.2 重命名/删除实时采集任务

当一个实时采集任务中所有表的 CDC 数据收集都被删除时,会自动暂停该实时采集任务,对于暂停的任务,用户可以手动删除任务。

33.png

3. 单个实时采集任务运维编辑

选中单个实时采集任务,可查看实时采集任务的基本信息、解析中的表、依赖关系、运行日志。如下图所示:

35.png

3.1 基本信息

用户可点击1747882217849013.png按钮,修改实时采集任务的名称;可在此处查看实时采集任务的数据连接名称、读取方式、任务创建时间、最新读取消息时间、日志解析延迟时间。如下图所示:

1747882179512421.png

仅来源为 Oracle、MySQL、SQLServer 时,才显示「日志解析延迟时间」:

数据库类型
额外展示信息计算逻辑
Oracle、MySQL
  • 源库可用日志时间:源库全量日志的最早SCN及对应时间

  • 当前解析日志时间:当前任务解析到的SCN及对应时间(当选择部分表同步的时候,该事件可能和当前读取消息时间不同)

  • 源库最新日志时间:源库全量日志的最新SCN及对应时间

3.png

日志解析延迟时间=源库当前时间 - 源库最新日志时间
SQLServer -
  • 先进行单表延迟计算:源库当前时间 - 源表对应 CDC 表的最新消息时间

  • 再对所有单表延迟取最小值,获取到任务的活跃事务延迟

3.2 解析中的表

3.2.1 实时统计

界面如下图所示:

1747882599568048.png

设置项
说明
指标:读取总量

任务所有表读取的总消息量(仅包含增量部分)

已读取的消息,分增删改展示;读取总量=插入数据量+更新数据量+删除数据量

表格数据列说明

读取量:任务内单表读取消息总量(仅包含增量部分)

分增删改展示:

39.png

3.2.2 历史统计

界面如下图所示:

1747883339641474.png

1)用户可选择近2小时、近24小时、近3天、近7天、近15天时间段,查看读取详情。如下图所示:

1747883565137524.png

2)指标卡-读取总量以柱形图展示,支持点击放大查看,展示每个等分时间段内的任务所有表读取消息的增量。如下图所示:

可查看指定时间段内的数据增删改情况;支持通过当前任务、来源表进行筛选。

1747883678978476.png

3.3 依赖关系

展示依赖该实时采集任务的管道任务列表、实时任务列表,展示对应管道/实时任务的任务名称、任务类型、任务状态、使用的表。如下图所示:

1747883994131141.png

点击任务名称,可跳转到对应的管道/实时任务。

3.4 运行日志

展示该实时采集任务的运行日志。如下图所示:

1747884052923603.png

可对任务运行日志进行筛选。如下图所示:

1747884116697474.png

4. 所有实时采集任务运维编辑

实时采集任务列表中,点击「所有任务」,可查看所有实时采集任务的运行情况。如下图所示:

2.png