历史版本5 :通用配置-欄位映射規則 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.1.9.3
  • 支持用户自定义字段类型映射规则,并配置生效的数据连接。

  • 「自动建表字段类型映射」、「管道DDL」、「定时任务来源字段变化感知」时,数据连接的自定义映射规则将优先于默认映射规则生效。

1.2 应用场景

在管道任务、定时任务的同步任务配置过程中,用户可能会出现期望的字段映射关系与产品中提供的默认映射关系不符的情况。

虽然能在「自动建表」时对目标表单个字段类型进行修改,但是对于定时任务,如果这个映射修改,需要针对此数据源下的多个任务或者是多个节点生效,则需要多次重复配置;对于管道任务,用户一次性会同步几十张几百张表,不可能手动逐个表逐个字段的进行字段的查找和修改

因此用户希望通过 FDL 能够统一对多个使用同一数据连接的定时任务、管道任务自定义字段类型映射规则

1.3 功能说明

  • 支持用户自定义字段类型映射规则,并配置生效的数据连接。

  • 「自动建表字段类型映射」、「管道DDL」、「定时任务来源字段变化感知」时,数据连接的自定义映射规则将优先于默认映射规则生效。

1.4 约束限制

1)当前字段映射规则支持的数据源类型为:MySQL、Oracle、SQLServer、PostgreSQLGreenplumStarRocks、Doris

2)「通用配置」仅初始化配置时设置的管理员账号支持设置,不支持分配其他用户使用和管理权限。

2. 功能说明编辑

配置项
说明
规则名称定义自定义映射的名称。
数据源映射选择来源数据库类型和目标数据库类型
适用数据连接选择满足条件的已经创建的数据连接
字段映射规则可以自由编辑来源目标端字段类型,可以定义源-目标的多个「字段类型映射关系」,可以新增和删除。
配置项
说明
来源端和目标端字段类型下拉选择源库和目标库可用的所有字段类型。
长度

对于来源端字段映射部分:

  • 范围上限和下限初始化的时候,给默认值:上下限根据具体数据库类型及字段类型给出

  • 用户可以自行修改上限和下限

对于目标段字段映射部分:

  • 如果所选源端类型不支持指定长度、精度、标度,而目标端所选类型支持,则允许将目标端的值设置为固定的长度、精度、标度。

  • 如果所选源端类型和目标端类型都支持长度、精度、标度,目标端可以指定精确值或倍数值。

精度
标度


3. 操作步骤编辑


示例用户使用定时任务和管道任务时,源表 MySQL 数据库有部分 char 类型字段。StarRocks 作为目标库时,不支持将 char 字段类型定义为主键,建表时会报错。

用户希望能 StarRocks 中,char 字段默认映射到 varchar 类型,以顺利完成配置并同步数据。

在进行「字段映射规则」配置前需要首先新建数据连接,详情参见:创建并管理数据源

3.1 进行字段映射规则设置

点击「管理系统>通用配置」,点击「字段映射规则」,如下图所示:

进行字段映射规则设置,输入规则名称、数据源映射来源端目标端数据库,并选择之前在平台中创建的有权限的数据连接,选择需要调整映射的来源端字段类型和目标端字段类型并设置长度和精度,点击确定,如下图所示:

用户可选择设置「长度和精度」,设置固定值或者n的倍数,如下图所示:

其中会有一个校验,用户设置的最终长度需要在字段类型的合法范围内,比如这里提示 n*倍数需要在 1-65533 范围里,因此需要调整前面的 n 的值 从 0-255 改成 1-255,如下图所示:

3.2 效果查看

在数据管道中即可看到同步的数据「表字段映射」中 char 类型字段改为 varchar 类型字段,同时字段长度和精度也按照字段映射规则修改,如下图所示:

在数据开发中即可看到同步的数据「表字段映射」中 char 类型字段改为 varchar 类型字段,同时字段长度和精度也按照字段映射规则修改,如下图所示: