1. 概述编辑
1.1 版本
FineDataLink版本 | 功能变动 |
---|---|
4.1.5.4 | - |
1.2 应用场景
用户使用数据开发模块设置定时同步任务,想要感知到定时任务同步时的来源端数据表 DDL 变化,并能够及时通知给用户,进行定时任务处理。
1.3 功能简介
当进行定时任务开发时,能够提示来源端数据表的 DDL 变化,并且将变化通知给指定用户;同时可以直接在任务中对目标表进行字段处理,更新目标表结构。
2. 功能说明编辑
2.1 源表结构变化监测
勾选后,节点每次执行时,将获取源端表结构,并与当前节点配置的表结构进行比对,判断出源表结构变化。用户可在「任务控制」中设置「结果通知」,即可在变化后自动通知给指定用户,用户即可手动进行任务调整。
类目 | 说明 |
---|---|
支持使用的数据源 | 来源数据源:SQLServer、Oracle、PostgreSQL、SAP HANA、MySQL |
使用条件 | 需要在数据同步节点,数据来源-配置方式选择「选表」 |
2.2 更新字段映射
当数据同步「数据来源」选择 SQLServer、Oracle、PostgreSQL、SAP HANA、MySQL 时,若来源表结构变化,则会提示用户更新字段映射,如下图所示:
注:DB表输出同样支持该设置。
点击「更新字段映射」即可查看到增删改字段的变化情况,同时点击确认即可根据来源表字段变化更新字段映射,如下图所示:
更新字段映射分如下所示:
来源表字段变化 | 更新字段映射表 |
---|---|
删除字段 | 分类至「删除字段」下 |
新增字段 | 分类至「新增字段」下 |
修改字段名称 | 原名称字段分类至「删除字段」下,新名称字段分类在「新增字段」下。 |
修改字段类型或者长度 | 分类至「修改字段类型/长度」下 |
2.3 更新目标表
当数据去向选择「已存在表」时,若来源表字段相较之前有变化,则可以对目标表进行调整,确认/补足对应映射关系变化后,对应生成目标表执行的DDL语句。
类目 | 说明 |
---|---|
支持使用的数据源 | 目标数据源:ClickHouse、GaussDB、Greenplum、MySQL、Oracle、PostgreSQL、Seabox、SQLServer、TiDB、RedShift |
使用条件 | 需要在数据同步节点或者 DB表输出,数据去向与映射-目标表选择「已存在表」 |
3. 操作步骤编辑
3.1 检测源表结构
新建数据同步节点,数据来源-配置方式选择「选表」,选择来源表并设置数据过滤,如下图所示:
设置「数据去向与映射」,设置目标数据表并勾选「源表结构变化监测」,并设置写入方式,确认同步节点可正常运行同步任务,如下图所示:
3.2 设置结果通知
为了保证 DDL 变化能通知用户,可在「任务控制>结果通知」下设置通知情况,如下图所示: