1. 概述编辑
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.0.5 | - |
| 4.2.16.2 | 支持收藏/取消收藏实时管道任务 |
| 4.2.19.4 | 1)点击「重新同步」按钮后,提示优化 2)实时管道任务中的来源表被删除后,支持筛选出来并能重新配置 3)添加表时,「字段映射与写入」步骤中的「批量操作」功能,与新建实时管道任务时「批量操作」功能一致 |
| 历史版本更新 | ||||||||||||||||||||
|
1.2 功能简介
1)管道任务可放在文件夹中进行管理;用户可复制、移动、重命名、导出、删除、收藏实时管道任务。如下图所示:

2)本文给出编辑管道任务的说明。
2. 管道任务展示形式/位置说明编辑
任务列表中用户可查看和编辑所有有 权限 的管道任务。
4.1.11.1 之前版本
点击实时管道任务文件夹,在右侧可看到文件夹下所有的管道任务,并且可以调整管道任务展示形式(卡片式、列表式)。如下图所示:
下图中右侧管道任务为卡片式。
注:4.1.11.1 及之后版本,去除卡片式、列表式展示功能。

通用功能说明
1)管道任务可放在文件夹中进行管理。
2)可拖动管道任务到指定文件夹中。如下图所示:

3. 重命名/移动/复制/导出/删除管道任务编辑
鼠标点击某个管道任务右侧的标志,可修改任务名称、将任务移动到某个路径下、将任务复制到某个路径下、删除任务、导出任务、收藏/取消收藏任务(4.2.16.2 版本新增)。如下图所示:
注:管道任务状态处于草稿、待启动、已暂停、中止时,才支持删除管道任务;管道任务状态说明请参见:单个管道任务状态说明

1)4.1.6.5 及之后版本,支持拖拽管道任务/文件夹来改变其位置:
所有用户均可手动拖拽有权限的管道任务/文件夹。
拖拽结果对所有用户生效。
某用户从上到下看到的管道任务为 5、1、7;管理员从上到下看到的管道任务为 5、6、1、9、7;该用户将 7 挪到 5 和 1 之间,管理员侧将看到 7 在 1 上面,在 6 下面;即被挪动的任务紧靠下方的那个目标节点(目标节点为 5 和 1,1为靠下的位置);文件夹也同理。
2)4.1.6.5 及之后版本,新增「移动到」按钮。
「移动到」按钮说明:该按钮不支持改变位次,只能改变所在文件夹;在文件夹 A 中的管道任务,点击「移动到」按钮,移动到文件夹 B ,管道任务移动后,将位于文件夹 B 的末尾;若仍然移动到文件夹 A ,管道任务的位置不变;「移动到」效果对所有用户生效。
4. 编辑管道任务编辑
4.1 修改配置
提示:实时管道任务运行一段时间后,用户想修改配置,FineDataLink 提供修改具体配置的入口。如下图所示:

支持编辑的设置项说明如下表所示:
| 配置项 | 粒度 | 限制说明 | 可编辑项说明 |
|---|---|---|---|
| 高级配置 | 待启动、已暂停、异常中止状态下,可修改 | 各配置项均支持编辑
| |
| 任务控制 | |||
| 添加表 | 任务级 | 待启动、启动中、运行中、已暂停、异常中止,可添加表 | 无需暂停实时管道任务,直接添加一个同步对象,配置完成后,启动该同步对象即可 支持新增同步对象: 1)入口:
2)新增同步对象时,支持定义同步类型、映射关系、写入方式等所有同步对象的配置 注:4.2.19.4 及之后版本,「字段映射与写入」步骤中的「批量操作」功能,与新建实时管道任务时「批量操作」功能一致
|
| 映射关系和写入方式 | 表级 | 待启动、已暂停、异常中止状态下,可修改 | 支持删除同步对象
支持编辑同步对象 修改同步对象时,支持修改同步类型、映射关系、写入方式等所有同步对象的配置
新增(批量添加表)、删除、编辑同步对象均支持批量操作;还支持为所有表统一设置同步方式
提示:修改同步对象时: 1)若未修改同步类型/同步起点,则再次运行该同步对象时,基于同步对象的断点继续同步 2)若修改了同步类型/同步起点,则再次运行该同步对象时,抛弃该同步对象的断点,读写统计、脏数据,基于新的同步类型/同步起点重新同步,相当于对该同步对象做了重置 |
4.2 重置任务
应用场景:
数据表发生变化或遇到异常(日志过期、断点失效)时,想要让管道恢复正常。
功能简介:
4.2.11.3 及之后版本,实时管道任务运行过,且任务状态为暂停中/已暂停/异常中止时,提供「重置任务」按钮。

该按钮作用如下:
| 具体说明 | |
|---|---|
清除实时管道任务整体的数据读写记录(最新读取消息、最新写入消息)
| |
| 清除实时管道任务内所有同步对象的运行信息 |
|
点击「重置」按钮后,再启动表同步,历史统计被保留
| |
5. 暂停/启动/重新同步表编辑
5.1 暂停表同步
表状态为「启动中、待存量同步、存量同步中、待增量同步、增量同步中、脏数据处理中、重试中」,支持暂停表。
1)支持暂停所有表,或者暂停单张表的同步。如下图所示:

2)支持对自定义的多张表进行暂停操作。如下图所示:

5.2 启动表同步
注:表状态为「待启动、已暂停、中止」时,支持启动表。
1)支持启动所有表、启动单张表。如下图所示:

2)支持对自定义的多张表进行启动操作。如下图所示:

5.3 重新同步表
表状态为已暂停、中止时,支持重新同步表。
重新同步单张表:
支持对表进行重新同步。如下图所示:
支持对单表进行重新全量同步,会将目标端表清空并重新执行全量同步、在全量同步结束后转入增量同步。
在任务被开启重新全量同步后,日志统计信息会重置(输入行、输出行)。
注:若开启逻辑删除标识时,重新同步对目标表清表重写,重写采用insert逻辑,出现提示“任务运行期间产生的逻辑删除数据将会被清空,请确认”。

批量重新同步:
支持选择多张表,进行重新同步操作。如下图所示:

6. 来源表被删除编辑
6.1 4.2.19.4 之前版本
非分组表被删除:
来源表被删除后,实时管道任务详情页进行提示,用户可在管道任务中将这张来源表删除。如下图所示:

若被删除的表在数据库中已恢复,可在「同步配置」Tab下将这张表重新添加回来。
分组表被删除:
1)其中一张子表被删除后,进行提示,可将这张子表从实时管道任务中删除。

2)若所有子表全部丢失,可将分组表从实时管道任务中删除。

6.2 4.2.19.4 及之后版本
4.2.19.4 之前版本,实时管道中的来源表被删除后,实时管道任务详情页会进行提示,并支持从管道任务中删除该表;用户若想把这些表重新添加到实时管道任务中,需要:
确认哪些表被删除,再进行恢复,若实时管道任务包含的来源表较多,找到被删除的表耗时较长。
将这些表从实时管道任务中移除后,再在「添加表」页面找到这些表再配置回来,较麻烦。
4.2.19.4 及之后版本,新增「重新配置」按钮,被删除的表能筛选出来并支持重新配置。
6.2.1 单张来源表重新配置
非分组表被删除:
1)来源表被删除后,可筛选被删除的来源表:

2)用户可点击「重新配置」按钮,若数据库中不存在同名的表,进行提示。如下图所示:

若数据库中存在同名的表,点击「重新配置」按钮后,可将删除的表重新添加到实时管道任务中。如下图所示:

分组表被删除:
1)其中一张子表被删除后,可筛选被删除的来源表:

2)可点击来源表右侧的「编辑」按钮,再点击「编辑」按钮,界面如下图所示:

| 设置项 | 说明 |
|---|---|
| 删除按钮 | 支持删除分组表中的子表 |
| 更新 | 点击后,将基于剩余子表更新分组表 |
| 重新配置 | 1)若来源库中不存在同名的表,点击后,进行提示:源库中未找到同名表,无法重新配置 2)若来源库中存在同名的表,点击后,自动重新添加到分组表中
|
3)若所有子表都被删除,「同步配置」Tab下可删除该分组表:

或者点击「重新配置」按钮,进行配置:
若来源库中存在同名的表,点击后,自动重置。
若来源库中不存在同名的表,点击后,将提示无法重新配置,表名标红。

6.2.2 批量重新配置
同步配置 Tab 下,可选择多张被删除的源表,进行批量重新配置:












