历史版本4 :定时任务DDL同步 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink版本
功能变动
4.1.5.4-

1.2 应用场景

用户使用数据开发模块设置定时同步任务,想要感知到定时任务同步时的来源端数据表 DDL 变化,并能够及时通知给用户,进行定时任务处理。

1.3 功能简介

当进行定时任务开发时,能够提示来源端数据表的 DDL 变化,并且将变化通知给指定用户;同时可以直接在任务中对目标表进行字段处理,更新目标表结构。

2. 功能说明编辑

2.1 源表结构变化监测

勾选后,节点每次执行时,将获取源端表结构,并与当前节点配置的表结构进行比对,判断出源表结构变化。用户可在「任务控制」中设置「结果通知」,即可在变化后自动通知给指定用户,用户即可手动进行任务调整。

类目
说明
支持使用的数据源

来源数据源:SQLServer、Oracle、PostgreSQL、SAP HANA、MySQL
目标数据源:ClickHouse、GaussDB、Greenplum、MySQL、Oracle、PostgreSQL、Seabox、SQLServer、TiDB、RedShift

使用条件需要在数据同步节点,数据来源-配置方式选择「选表」

2.2 更新字段映射

当数据同步「数据来源」选择 SQLServer、Oracle、PostgreSQL、SAP HANA、MySQL 时,若来源表结构变化,则会提示用户更新字段映射,如下图所示:

注:DB表输出同样支持该设置。

点击「更新字段映射」即可查看到增删改字段的变化情况,同时点击确认即可根据来源表字段变化更新字段映射,如下图所示:

更新字段映射分如下所示:

来源表字段变化更新字段映射表
删除字段

分类至「删除字段」下

新增字段

分类至「新增字段」下


修改字段名称原名称字段分类至「删除字段」下,新名称字段分类在「新增字段」下。
修改字段类型或者长度分类至「修改字段类型/长度」下

2.3 更新目标表

当数据去向选择「已存在表」时,若来源表字段相较之前有变化,则可以对目标表进行调整,确认/补足对应映射关系变化后,对应生成目标表执行的DDL语句。

类目
说明
支持使用的数据源

目标数据源:ClickHouse、GaussDB、Greenplum、MySQL、Oracle、PostgreSQL、Seabox、SQLServer、TiDB、RedShift

使用条件需要在数据同步节点或者 DB表输出,数据去向与映射-目标表选择「已存在表

3. 操作步骤编辑

3.1 检测源表结构

新建数据同步节点,数据来源-配置方式选择「选表」,选择来源表并设置数据过滤,如下图所示:

设置「数据去向与映射」,设置目标数据表并勾选「源表结构变化监测」,并设置写入方式,确认同步节点可正常运行同步任务,如下图所示:

3.2 设置结果通知

为了保证 DDL 变化能通知用户,可在「任务控制>结果通知」下设置通知情况,如下图所示:

在运行任务时,如果来源端发生 DDL 变化,则会在指定渠道通知设置好的指定用户,例如设置了平台通知,则会在平台中提示,如下图所示:

当然日志也会提示用户源表结构变化,若 DDL 影响实际数据写入,则任务报错,否则任务会正常执行。

3.3 更新字段映射

此时用户即可进入任务,进入「数据去向与映射」中更新字段映射,将会根据来源表字段变化情况更新字段映射,不会影响目标表结构,如下图所示:

点击确认后可在查看字段映射情况,如下图所示:

3.4 更新目标表

当目标库已有表时,比较来源字段相较之前的变化,如果有变化,给出提示及处理按钮:支持比较出源端字段变化项,并在用户确认/补足对应映射关系变化后,对应生成目标端可执行的DDL语句。