1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.2.4.3 | 新增实时采集任务 |
4.2.6.3 | 1)新增「依赖关系」Tab:展示依赖该实时采集任务的管道任务列表、实时任务列表 2)来源为 Oracle、MySQL、SQLServer 时,显示「日志解析延迟时间」 3)「解析中的表」Tab:新增实时统计、历史统计 4)可查看所有数据采集任务的运行情况 |
1.2 功能简介
实时采集任务 被自动创建后,可在「管理系统>数据连接>实时采集任务」中查看运行详情。如下图所示:
2. 管理实时采集任务
2.1 筛选实时采集任务
可通过连接名称、任务名称、解析表、任务状态对实时采集任务进行筛选。如下图所示:
任务状态说明:
采集任务会在所有关联任务停止后,继续采集 24h,24h 后自动停止。
待启动:实时采集任务被创建后的初始状态。
启动中:从启动到任务实际开始运行的时间都处于「启动中」(过渡态)。
运行中:任务正常运行。
停止中:从任务运行到任务暂停的时间都处于「停止中」(过渡态)。
已停止:任务已停止运行。
运行错误:任务在启动过程中或者运行中,因为遇到报错停止运行。
2.2 重命名/删除实时采集任务
当一个实时采集任务中所有表的 CDC 数据收集都被删除时,会自动暂停该实时采集任务,对于暂停的任务,用户可以手动删除任务。
3. 单个实时采集任务运维
选中单个实时采集任务,可查看实时采集任务的基本信息、解析中的表、依赖关系、运行日志。如下图所示:
3.1 基本信息
用户可点击按钮,修改实时采集任务的名称;可在此处查看实时采集任务的数据连接名称、读取方式、任务创建时间、最新读取消息时间、日志解析延迟时间(4.2.6.3 及之后版本新增)。如下图所示:
仅来源为 Oracle、MySQL、SQLServer 时,才显示「日志解析延迟时间」:
数据库类型 | 额外展示信息 | 计算逻辑 |
---|---|---|
Oracle、MySQL |
| 日志解析延迟时间=源库当前时间 - 源库最新日志时间 |
SQLServer | - |
|
3.2 解析中的表
注:4.2.6.3 及之后版本新增「实时统计」和「历史统计」Tab。
3.2.1 实时统计
界面如下图所示:
设置项 | 说明 |
---|---|
指标:读取总量 | 任务所有表读取的总消息量(仅包含增量部分) 已读取的消息,分增删改展示;读取总量=插入数据量+更新数据量+删除数据量 |
表格数据列说明 | 读取量:任务内单表读取消息总量(仅包含增量部分) 分增删改展示: |
3.2.2 历史统计
界面如下图所示:
1)用户可选择近2小时、近24小时、近3天、近7天、近15天时间段,查看读取详情。如下图所示:
2)指标卡-读取总量以柱形图展示,支持点击放大查看,展示每个等分时间段内的任务所有表读取消息的增量。如下图所示:
可查看指定时间段内的数据增删改情况;支持通过当前任务、来源表进行筛选。
3.3 依赖关系
注:4.2.6.3 及之后版本新增「依赖关系」Tab。
展示依赖该实时采集任务的管道任务列表、实时任务列表,展示对应管道/实时任务的任务名称、任务类型、任务状态、使用的表。如下图所示:
点击任务名称,可跳转到对应的管道/实时任务。
3.4 运行日志
展示该实时采集任务的运行日志。如下图所示:
可对任务运行日志进行筛选。如下图所示:
4. 所有实时采集任务运维
实时采集任务列表中,点击「所有任务」,可查看所有实时采集任务的运行情况。如下图所示:
注:4.2.6.3 及之后版本,支持该功能。
可点击任务名称,