最新历史版本 :通用配置-欄位映射規則 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

1.1 版本

FineDataLink 版本功能變動
4.1.9.3
  • 支援使用者自訂欄位類型映射規則,並配置生效的資料連結。

  • 「自動建表欄位類型映射」、「管道DDL」、「定時任務來源欄位變化感知」時,資料連結的自訂映射規則將優先於預設映射規則生效。

4.2.2.1

該功能支援叢集環

SelectDB 資料庫支援該功能

1.2 應用場景

在管道任務、定時任務的同步任務配置程式中,使用者可能會出現期望的欄位映射關係與產品中提供的預設映射關係不符的情況。

雖然能在「自動建表」時對目標表單個欄位類型進行修改,但是對於定時任務,如果這個映射修改,需要針對此資料源下的多個任務或者是多個節點生效,則需要多次重複配置;對於管道任務,使用者一次性會同步幾十張幾百張表,不可能手動逐個表逐個欄位的進行欄位的尋找和修改

因此使用者希望透過 FDL 能夠統一對多個使用同一資料連結的定時任務、管道任務自訂欄位類型映射規則

1.3 功能說明

  • 支援使用者自訂欄位類型映射規則,並配置生效的資料連結。

  • 「自動建表欄位類型映射」、「管道DDL」、「定時任務來源欄位變化感知」時,資料連結的自訂映射規則將優先於預設映射規則生效。

1.4 約束限制

1)當前欄位映射規則支援的資料源類型為:MySQL、Oracle、SQLServer、PostgreSQLGreenplumStarRocks、Doris、SelectDB。

2)「通用配置」僅初始化配置時設定的管理者帳號支援設定,不支援分配其他使用者使用和管理權限。

3)4.2.2.1 之前版本,該功能不支援叢集環境;4.2.2.1 及之後版本,該功能支援叢集環境。

2. 功能說明编辑

配置項
說明
規則名稱定義自訂映射的名稱
資料源映射選擇來源資料庫類型和目標資料庫類型
適用資料連結選擇滿足條件的已經建立的資料連結
欄位映射規則可以自由選擇來源、目標端欄位類型,可以定義源-目標的多個「欄位類型映射關係」,可以新增和刪除
配置項
說明
來源端和目標端欄位類型下拉選擇源庫和目標庫可用的所有欄位類型
長度

對於來源端欄位映射部分:

  • 範圍上限和下限初始化的時候,給預設值:上下限根據具體資料庫類型及欄位類型給出

  • 使用者可以自行修改上限和下限

對於目標段欄位映射部分:

  • 如果所選源端類型不支援指定長度、精度、標度,而目標端所選類型支援,則允許將目標端的值設定為固定的長度、精度、標度

  • 如果所選源端類型和目標端類型都支援長度、精度、標度,目標端可以指定精確值或倍數值

精度
標度


3. 操作步驟编辑

範例使用者使用定時任務和管道任務時,源表 MySQL 資料庫有部分 char 類型欄位。StarRocks 作為目標庫時,不支援將 char 欄位類型定義為主鍵,建表時會報錯。

使用者希望能 StarRocks 中,char 欄位預設映射到 varchar 類型,以順利完成配置並同步資料。

在進行「欄位映射規則」配置前需要首先建立資料連結,詳情參見:建立並管理資料源

3.1 進行欄位映射規則設定

1)點選「管理系統>通用配置」,新增「欄位映射規則」。如下圖所示:

2)輸入規則名稱,「資料源映射」中選擇來源資料庫類型和目標資料庫類型,選擇之前在平台中建立的有權限的資料連結,並選擇需要調整映射的來源端欄位類型和目標端欄位類型。

「長度或精度」設定項中,可選擇設定為「固定值」還是「n的倍數」;若選擇「固定值」,需要填入1-65533的整數,若選擇「n的倍數」,「n*倍數」需要在1-65533之間。

本文範例中,長度或精度」設定項中,n 的值範圍調整為 1-255,n 的倍數設定為 3。如下圖所示:

3.2 效果查看

在資料管道中即可看到同步的資料「表欄位映射」中 char 類型欄位改為 varchar 類型欄位,同時欄位長度和精度也按照欄位映射規則修改。如下圖所示:

在資料開發中即可看到同步的資料「表欄位映射」中 char 類型欄位改為 varchar 類型欄位,同時欄位長度和精度也按照欄位映射規則修改。如下圖所示: