支援使用者自訂欄位類型映射規則,並配置生效的資料連結。
「自動建表欄位類型映射」、「管道DDL」、「定時任務來源欄位變化感知」時,資料連結的自訂映射規則將優先於預設映射規則生效。
SelectDB 資料庫支援該功能
來源端和目標端新增支援部分資料源
優化映射規則
在管道任務、定時任務的同步任務配置程式中,使用者可能會出現期望的欄位映射關係與產品中提供的預設映射關係不符的情況。
雖然能在「自動建表」時對目標表單個欄位類型進行修改,但是對於定時任務,如果這個映射修改,需要針對此資料源下的多個任務或者是多個節點生效,則需要多次重複配置;對於管道任務,使用者一次性會同步幾十張幾百張表,不可能手動逐個表逐個欄位的進行欄位的尋找和修改。
因此使用者希望透過 FDL 能夠統一對多個使用同一資料連結的定時任務、管道任務自訂欄位類型映射規則。
1)4.2.2.1 之前版本,該功能不支援叢集環境;4.2.2.1 及之後版本,該功能支援叢集環境。
2)「通用配置」僅初始化配置時設定的管理者帳號支援設定,不支援分配其他使用者使用和管理權限。
3)支援的資料源類型如下表所示:
MySQL、Oracle、SQLServer、PostgreSQL、Greenplum、StarRocks、Doris、SelectDB、ClickHouse
4.2.16.3 及之後版本,新增支援:API 輸入、簡道雲輸入、ClickHouse、達夢、Hive、Impala、sqlite、SAP HANA、GaussDB200
4.2.16.3 及之後版本,新增支援:ClickHouse、達夢、Hive、Impala、sqlite、SAP HANA、GaussDB200
配置介面如下圖所示:
來源端資料連結
目標端資料連結
4.2.16.3 及之後版本,原「適用資料連結」分為「來源端資料連結」與「目標端資料連結」
來源端和目標端需選擇滿足條件的已經建立的資料連結;若資料連結已配置過相同的資料映射,不支援再次選擇。
4.2.16.3 及之後版本,下拉框中新增「全部資料連結」選項,支援選擇同一資料庫下所有資料連結進行欄位映射配置
注:當來源端配置為 API 輸入時,無此選項
相容說明:升級至 4.2.16.3 及之後版本,升級前已有的欄位映射規則的配置,升級後來源端資料連結均預設為「全部資料連結」選項
對於來源端欄位映射部分:
範圍上限和下限初始化的時候,給預設值:上下限根據具體資料庫類型及欄位類型給出
使用者可以自行修改上限和下限
對於目標段欄位映射部分:
如果所選源端類型不支援指定長度、精度、標度,而目標端所選類型支援,則允許將目標端的值設定為固定的長度、精度、標度
如果所選源端類型和目標端類型都支援長度、精度、標度,目標端可以指定精確值或倍數值
1)支援識別無精度的 number 和 varchar 類型
2) SQL Server 資料庫中 decimal 、numeric 類型的映射規則,預設標度從 0 開始
3)來源欄位的下拉框旁新增切換按鈕,支援切換為「輸入框」,支援自訂輸入特殊欄位類型進行配置。如下圖所示:
4)新增自動填入目標端欄位類型。選擇來源端的欄位類型後,目標端的欄位類型會按照系統預設規則進行匹配。若匹配不上,目標端的欄位類型置空,仍需手動匹配。
5)欄位映射規則來源端的配置不支援和之前已有規則的來源端配置有重疊的範圍。如下圖所示:
在列表中,可查看所有的配置,支援編輯、刪除配置。如下圖所示:
範例使用者使用定時任務和管道任務時,源表 MySQL 資料庫有部分 char 類型欄位。StarRocks 作為目標庫時,不支援將 char 欄位類型定義為主鍵,建表時會報錯。
使用者希望能 StarRocks 中,char 欄位預設映射到 varchar 類型,以順利完成配置並同步資料。
在進行「欄位映射規則」配置前需要首先建立資料連結,詳情參見:建立並管理資料源
1)點選「管理系統>通用配置」,新增「欄位映射規則」。如下圖所示:
2)輸入規則名稱,「資料源映射」中選擇來源資料庫類型和目標資料庫類型,選擇之前在平台中建立的有權限的資料連結,並選擇需要調整映射的來源端欄位類型和目標端欄位類型。
「長度或精度」設定項中,可選擇設定為「固定值」還是「n的倍數」;若選擇「固定值」,需要填入1-65533的整數,若選擇「n的倍數」,「n*倍數」需要在1-65533之間。
本文範例中,「長度或精度」設定項中,n 的值範圍調整為 1-255,n 的倍數設定為 3。如下圖所示:
在資料管道中即可看到同步的資料「表欄位映射」中 char 類型欄位改為 varchar 類型欄位,同時欄位長度和精度也按照欄位映射規則修改。如下圖所示:
在資料開發中即可看到同步的資料「表欄位映射」中 char 類型欄位改為 varchar 類型欄位,同時欄位長度和精度也按照欄位映射規則修改。如下圖所示:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙