历史版本2 :实时管道任务运行详情 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.0.5-
4.1.8.1

  • 实时日志、历史日志Tab下，同步对象分为分组表和普通表

  • 运行日志Tab下，展示分组表下子表的日志

历史版本更新说明
FineDataLink 版本
功能变动
4.0.27

  • 脏数据处理优化，支持对单表和多表生成的脏数据进行忽略、重试或者重新同步

  • 任务日志提示优化

4.1.2

  • 支持自定义历史统计周期查看同步情况

  • 新增显示待同步写入延迟时间，并能查看同步数据表「读取消息时间」和「写入消息时间」

  • 脏数据展示优化

  • 脏数据处理优化

4.1.5.3

  • 若暂无运行日志，提供界面提示用户

  • 运行日志处的筛选按钮优化

  • 运行日志处的「等级」列，用不同颜色标记；优化「分类」列

1.2 应用场景

IT 人员在配置完数据管道任务后，需要对管道任务的运行状态、同步性能、异常问题进行监控和处理。

1.3 功能简介

用户点击已启动过的管道任务，可查看当前任务的同步详情、运行日志。如下图所示：

3.png


2. 管理活动编辑

2.1 时间维度查看实时同步情况

点击「管理活动」即可看到当前任务的历史同步趋势。

注1：实时统计和历史统计Tab下，同步对象分为分组表和普通表；分组表可展开，查看分组内部的子表。

注2：「当前同步阶段」列说明：分组内全部表都处于增量同步时，分组表处于增量同步，只要分组内有表处于全量同步，分组表处于全量同步。

4.png

2.1.1 实时统计

点击实时统计，即可查看任务历史读取总量，即任务从首次运行开始一共读取、输出的数据总量、待同步数据量、读取和输出数据的实时速率。

注：若使用了重新同步，单表的读取和写入会被重新计算，「重新同步的数据量」不会累加进「实时统计」的读取总量和输出总量里，但是会累加进「历史统计」中。

6.png

说明如下：

1）读取总量=待同步量+输出总量+脏数据量

待同步下可查看全任务、单个数据表的待同步写入延迟时间。

写入延迟时间=读取消息时间-写入消息时间

7.png

分组表的脏数据数量、待同步量、读取数据量、输出数据量，为各分组内的表对应指标求和：

例如分组表A中包含两个子表A1、A2：

  • 分组表A脏数据数量：（来源于A1，写入A失败时的脏数据量） + （来源于A2，写入A失败时的脏数据量）

  • 分组表A待同步量：来源于A1的待同步量 + 来源于A2的待同步量

  • 分组表A读取数据量：来源于A1的读取（增删改）数据量 + 来源于A2的读取（增删改）数据量

  • 分组表A输出数据量：来源于A1的写入（增删改）数据量 + 来源于A2的写入（增删改）数据量

2）其中数据表的读取和写入消息时间可在悬浮查看，如下图所示：

8.png