定时管道DDL同步

1.1 版本

1.2 应用场景

定时管道任务同步应用数据源时，源端表结构可能因业务调整发生 DDL 变更（增删表、增删字段等）。若未及时感知处理，易导致同步异常、数据不一致，影响下游业务。

用户需快速感知该变化，且支持手动更新映射或自动同步部分 DDL 变化，灵活完成适配调整。

1.3 功能简介

源端 DDL 变化感知：若源表&源表结构发生变化，在任务详情页可提示对应的变化内容。

同步源表结构变化：对于部分源端的 DDL 变化，开启「同步源表结构变化」设置，无需手动更新映射，运行时可自动同步变更内容。

可检测的源表及源表结构变化及处理方式如下表所示：

进入任务详情页，若来源表结构变化，则会提示用户有 x 张表映射可更新。点击「筛选」可筛选出表映射可以更新的表。如下图所示：

点击「编辑」按钮进入编辑界面。如下图所示：

4.1 更新字段映射

若来源表结构变化，点击「更新映射」更新来源表结构。如下图所示：

「更新映射」表会展示来源字段的变化情况，点击「更新映射与目标表」会直接进入「更新目标表」页面。更新目标表内容请参见本文 4.2 节。

点击「更新映射」后，会先更新来源表的字段映射，并在目标表中标红映射不一致的内容。需要点击「更新目标表」按钮，对目标表进行调整。更新目标表详情请参见本文 4.2 节。

4.2 更新目标表

若来源表字段相较之前有变化，则可以对目标表进行调整，可以选择已有目标表字段、也可以手动输入新字段，确认对应映射关系变化后，即可对应生成目标表执行的 DDL 语句并执行。

• 支持对目标表新建、删除字段、重命名字段；

• 支持修改目标表字段类型、长度精度；

• 支持为目标表配置非空、主键、注释；

• 支持展示更改记录、还原修改；

1）点击「更新目标表」，弹窗中展示目标表实际内容和顺序，可对字段结构进行调整。如下图所示：

2）支持「一键带入」功能。以「字段名」为唯一标识（同名映射逻辑），比对来源表和目标表结构；只要来源表与目标表结构不一致，就支持将来源表结构一键带入目标表。

更改记录内容如下：

注：点击「一键带入」后，在此界面上更改内容导致来源表与目标表结构不一致，将不会出现「一键带入」提示。

3）将根据更新内容生成更新语句，点击「执行更新语句」。如下图所示：

对于部分源端表结构变化，支持开启「同步源表结构变化」功能，开启后，无需手动更新映射，任务运行时可自动同步。如下图所示：

在任务详情页，展示是否开启「同步源表结构变化」。如下图所示：

开启后，变更点同步情况如下表所示：

任务运行后，在「运行记录」中查看运行日志，查看源表结构变更内容。如下图所示：