通用配置-字段映射规则

1.1 版本

1.2 应用场景

在管道任务、定时任务的同步任务配置过程中，用户可能会出现期望的字段映射关系与产品中提供的默认映射关系不符的情况。

虽然能在「自动建表」时对目标表单个字段类型进行修改，但是对于定时任务，如果这个映射修改，需要针对此数据源下的多个任务或者是多个节点生效，则需要多次重复配置；对于管道任务，用户一次性会同步几十张几百张表，不可能手动逐个表逐个字段的进行字段的查找和修改。

因此用户希望通过 FDL 能够统一对多个使用同一数据连接的定时任务、管道任务自定义字段类型映射规则。

1.3 功能说明

• 支持用户自定义字段类型映射规则，并配置生效的数据连接。

• 「自动建表字段类型映射」、「管道DDL」、「定时任务来源字段变化感知」时，数据连接的自定义映射规则将优先于默认映射规则生效。

1.4 约束限制

1）当前字段映射规则支持的数据源类型为：MySQL、Oracle、SQLServer、PostgreSQL、Greenplum、StarRocks、Doris

2）「通用配置」仅初始化配置时设置的管理员账号支持设置，不支持分配其他用户使用和管理权限。

示例用户使用定时任务和管道任务时，源表 MySQL 数据库有部分 char 类型字段。StarRocks 作为目标库时，不支持将 char 字段类型定义为主键，建表时会报错。

用户希望能 StarRocks 中，char 字段默认映射到 varchar 类型，以顺利完成配置并同步数据。

在进行「字段映射规则」配置前需要首先新建数据连接，详情参见：创建并管理数据源

3.1 进行字段映射规则设置

点击「管理系统>通用配置」，点击「字段映射规则」，如下图所示：

进行字段映射规则设置，输入规则名称、数据源映射来源端目标端数据库，并选择之前在平台中创建的有权限的数据连接，选择需要调整映射的来源端字段类型和目标端字段类型并设置长度和精度，点击确定，如下图所示：

用户可选择设置「长度和精度」，设置固定值或者n的倍数，如下图所示：

其中会有一个校验，用户设置的最终长度需要在字段类型的合法范围内，比如这里提示 n*倍数需要在 1-65533 范围里，因此需要调整前面的 n 的值 从 0-255 改成 1-255，如下图所示：

3.2 效果查看

在数据管道中即可看到同步的数据「表字段映射」中 char 类型字段改为 varchar 类型字段，同时字段长度和精度也按照字段映射规则修改，如下图所示：

在数据开发中即可看到同步的数据「表字段映射」中 char 类型字段改为 varchar 类型字段，同时字段长度和精度也按照字段映射规则修改，如下图所示：