历史版本2 :实时采集任务运维 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本
功能变动
4.2.4.3新增实时采集任务
4.2.6.3

1.2 功能简介

实时采集任务 被自动创建后,可在「管理系统>数据连接>实时采集任务」中查看运行详情。如下图所示:

30.png

2. 管理实时采集任务编辑

2.1 筛选实时采集任务

可通过连接名称、任务名称、解析表、任务状态对实时采集任务进行筛选。如下图所示:

32.png

任务状态说明:

  • 待启动:实时采集任务被创建后的初始状态。

  • 启动中:从启动到任务实际开始运行的时间都处于「启动中」(过渡态)。

  • 运行中:任务正常运行。

  • 停止中:从任务运行到任务暂停的时间都处于「停止中」(过渡态)。

  • 已停止:任务已停止运行。

  • 运行错误:任务在启动过程中或者运行中,因为遇到报错停止运行。

2.2 重命名/删除实时采集任务

当一个实时采集任务中所有表的 CDC 数据收集都被删除时,会自动暂停该实时采集任务,对于暂停的任务,用户可以手动删除任务。

33.png

3. 单个实时采集任务运维编辑

选中单个实时采集任务,可查看实时采集任务的基本信息、解析中的表、依赖关系、运行日志。如下图所示:

35.png

3.1 基本信息

用户可点击1747882217849013.png按钮,修改实时采集任务的名称;可在此处查看实时采集任务的数据连接名称、读取方式、任务创建时间、最新读取消息时间、日志解析延迟时间。如下图所示:

1747882179512421.png

日志解析延迟时间逻辑说明:

1)Oracle 和 MySQL 数据库:源库当前时间 - 源库最新日志时间。

2)SQLServer 数据库:

  • 先进行单表延迟计算:源库当前时间 - 源表对应 CDC 表的最新消息时间。

  • 再对所有单表延迟取最小值,获取到任务的活跃事务延迟。

3.2 解析中的表

3.2.1 实时统计

界面如下图所示:

该界面展示读取总量,读取总量=插入数据量+更新数据量+删除数据量。表格中展示来源表名称、最新读取消息时间、读取量。如下图所示:

1747882599568048.png

设置项
说明
指标:读取总量

任务所有表读取的总消息量(仅包含增量部分)