1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.0.5 | - |
| 4.2.5.4 | 增加配置详情说明 |
| 4.2.6.3 | 「管道活动>实时统计」Tab下：
「管道活动>历史统计」Tab下：
|
| 历史版本更新说明 | ||||||||||||
|
1.2 应用场景
IT 人员在配置完数据管道任务后，需要对管道任务的同步情况、同步性能、异常问题进行监控和处理。
1.3 功能简介
用户点击已启动过的管道任务，可查看当前任务的配置详情、同步详情、运行日志。如下图所示：
支持查看任务来源端、目标端、管道控制等配置详情。
支持通过时间维度、数据表维度查看实时同步情况。
可查看管道任务的历史运行日志记录、支持查询和筛选日志。
注：管道任务中若产生脏数据，如何处理脏数据请参见：管道任务处理脏数据
2. 配置详情
用户在任务界面可直接查看当前任务的配置详情，无需进入编辑任务界面查看这些信息，包括来源端的数据源、读取方式、同步对象，目标端的信息、管道控制设置项（脏数据阈值、失败重试、通知内容、日志等级）等。如下图所示：
3. 管理活动
3.1 时间维度查看实时同步情况
点击「管道活动」即可看到当前任务的同步详情。
注：实时统计和历史统计Tab下，同步对象分为分组表和普通表；分组表可展开，查看分组内部的子表。
3.1.1 实时统计
「实时统计」Tab 下，展示三个指标卡，分别是待同步量、写入总量、脏数据量：
待同步量：任务消息队列中，所有表在增量阶段未被消费而积压的消息总量。
写入总量：任务所有表写入的总消息量；分别展示全量值、增量值（展示插入、更新、删除数据量）
脏数据量：任务所有表写入的总脏数据量。
注：若使用了重新同步，单表的读取和写入会被重新计算，「重新同步的数据量」不会累加进「实时统计」的读取总量和输出总量里，但是会累加进「历史统计」中。
分组表的脏数据数量、待同步量、写入总量，为各分组内的表对应指标求和：
例如分组表A中包含两个子表A1、A2：
分组表A脏数据数量：（来源于A1，写入A失败时的脏数据量） + （来源于A2，写入A失败时的脏数据量）。
分组表A待同步量：来源于A1的待同步量 + 来源于A2的待同步量。
分组表A写入数据量：来源于A1的写入（增删改）数据量 + 来源于A2的写入（增删改）数据量。
3.1.2 历史统计
1）4.1.2 及之后版本，用户可选择近2小时、近24小时、近3天、近7天、近15天等等各种时间段的实时同步详情。
2）展示待同步量、写入总量。如下图所示：
待同步量：所有表在增量阶段未被消费而积压的消息总量。
写入总量：分别展示全量阶段写入量和增量阶段写入量，增量阶段写入量又分别展示增删改数据量。
点击折线图/柱形图，图表可放大展示（横轴最小粒度为 1 分钟）。如下图所示：
3.2 数据表维度查看同步情况
同步对象模块下可查看到所有来源表的同步情况。如下图所示：
1）表格数据列说明如下表所示：
| 列名 | 说明 |
|---|---|
| 来源表名 | 来源表名称；鼠标悬浮在来源表名称上，显示来源库、模式 |
| 去向表名 | 去向表名称；4.2.6.3及之后版本新增 鼠标悬浮在去向表名称上，显示去向库、模式 |
| 当前同步阶段 | 1）表当前同步阶段：增量同步、存量同步等，4.2.1.1 及之后版本，表状态新增：「待初始化」、「初始化中」、「待存量同步」、「待增量同步」、「脏数据处理中」、「中止」。详情请参见：单个管道任务状态说明 2）当前同步阶段右侧有个筛选按钮，点击后，可筛选表状态。如下图所示： 注：「当前同步阶段」列说明：分组内全部表都处于增量同步时，分组表处于增量同步，只要分组内有表处于全量同步，分组表处于全量同步
|
| 最新读取消息时间 | 支持排序 |
| 待同步量 | 单表的待同步数据量；支持排序 |
| 最新写入消息时间 | 任务内单表最新写入时间；支持排序 |
| 写入量 | 任务内单表写入消息总量（4.2.6.3及之后版本新增）=全量写入值+增量写入值 分别展示全量值、增量值（展示插入、更新、删除数据量）：
|
| 脏数据 | 1）任务内单表脏数据量；支持排序和过滤 2）点击脏数据条数，即可根据各错误原因分类、时间、关键字等进行脏数据筛选，查看脏数据详情 注：脏数据处理说明请参见：管道任务处理脏数据 点击「导出脏数据明细」即可将脏数据导出：
注：对于主键字段值由A更新为B的数据，当主键更新事件失败时，拆解为两条脏数据记录：主键为A的数据删除、主键为B的数据upsert 导出时，按照字段映射配置中的目标端表结构导出 |
| 写入延迟 | 任务来来源表读取消息时间-任务内目标表写入消息时间；支持排序 |
2）支持自定义表头。如下图所示：
3）支持查看单表运行日志。如下图所示：
4）支持对表进行重新同步操作（任务状态需为「运行中」&表当前同步阶段需在「增量同步」或「中止」）。
支持对单表和整个管道任务进行重新全量同步，会将目标端表清空并重新执行全量同步、在全量同步结束后转入增量同步。
在任务被开启重新全量同步后，日志统计信息会重置（输入行、输出行）。
注：若开启逻辑删除标识时，重新同步对目标表清表重写，重写采用insert逻辑，出现提示“任务运行期间产生的逻辑删除数据将会被清空，请确认”。
4. 运行日志
4.1 可视化日志
1）点击「运行日志」即可看到当前管道任务的历史运行日志记录，展示日志的时间、等级、分类、描述。如下图所示：
2）同时可进行日志查询和筛选。如下图所示：
注：支持根据任务筛选日志和根据表筛选日志，同时可以查看各种类型的日志；也可根据日志生成时间筛选日志。
点击「筛选」按钮后，「日志分类」可选择以下内容：
4.2 日志等级
日志分为四级：BASIC INFO、INFO、WARN、ERROR 四级。
其中BASIC INFO 作为基础等级的日志。
也可以点击每一条日志对应的详情查看具体的说明，如下图所示：
上一篇：实时管道任务状态、表状态说明
