資料同步-資料來源

1.1 版本

1.2 功能簡介

本文介紹「資料同步」設定資料來源或者使用「資料轉換-DB表輸入」時的配置項說明。

「資料同步-資料來源」Tab 介面如下圖所示：

若發現取出的資料需要進行一些複雜的操作，例如欄轉列、資料聯動、JSON解析等資料處理和轉換，則可以使用「生成資料轉換」功能。

FineDataLink支援的資料源 文檔的第三章內容（支援資料讀取的資料庫）。

只展示已配置過資料連結且當前使用者有資料連結使用權限的選項。

「資料源」中選擇DB表輸入類型時，有「配置方式」設定項，「配置方式」設定項中可選擇SQL、選表、儲存程式。

透過 SQL 語句從源資料庫的表中查詢取數，且支援引用參數，參數的具體介紹請參見：參數概述

使用者可選擇指定的資料庫，並在該資料庫下搜尋需要的資料表，然後寫入右側 SQL 輸入框，如下圖所示：

注：若選擇的資料連結對應有使用權限的資料庫有多個，則資料庫文法使用表名格式需要為：庫.表名。

配置方式選擇「選表」,頁面如下圖所示：

支援「選表」功能的算子/節點：DB表輸入、資料同步、參數指派、全局參數中，資料源類型選擇「DB表輸入」類型。

4.1 庫/來源表

4.2.10.1 及之後版本，「庫」的來源方式支援兩種：引用參數、按庫選擇。

4.1.1 引用參數

4.2.10.1 及之後，原「來源表」配置拆分為：庫/模式、來源表兩個配置項。如下圖所示：

4.2.10.1 及之後版本，資料同步、資料轉換裏的「DB表輸入-資料來源」中，「庫/模式」、「來源表」配置項新增支援引用參數，點選右側切換按鈕，即可選擇參數。

注2：使用「引用參數」功能時，來源表和目標表的表結構要完全一致，比如欄位名、欄位類型、欄位個數要一致。

注3：目前構建和運作時不支援根據參數重新整理欄位映射，不能滿足隨機 1 對 1 場景，只能滿足固定 N 對 1 的場景。

注：若模式/庫/來源表中使用參數，則該任務不支援 血緣分析 功能。

注2：使用「引用參數」功能時，來源表和目標表的表結構要完全一致，比如欄位名、欄位類型、欄位個數要一致。

注3：目前構建和運作時不支援根據參數重新整理欄位映射，不能滿足隨機 1 對 1 場景，只能滿足固定 N 對 1 的場景。

4.1.2 選部分欄位

4.1.13.2 及之後版本，支援選擇部分欄位。如下圖所示：

選欄位功能說明如下：

1）選欄位時若全選欄位，後續該表新增的欄位，不會被當成選中的狀態。

2）「資料來源」Tab 中，未選的來源表的欄位，在「資料過濾」功能中，可被聯想出來。

3）已被選擇的欄位，若希望取消選擇，有兩種方案：

4）「資料去向與映射」Tab 下，欄位映射來源端中，僅展示已選的欄位；「篩選」和「重新獲取」操作，僅對已選的欄位有用。

5）「寫入方式」Tab下，設定主鍵時，僅展示已選欄位。

6）DDL 說明：

• 選擇欄位後，「資料去向與映射」Tab 下，源表結構變化監測功能不可用。

• DDL 變更，針對已選欄位的結構變化來監測，「更新欄位映射」功能不受影響。

4.2 表描述

DB表輸入、資料同步、參數指派中，資料源類型選擇「DB表輸入」類型，配置方式選擇「選表」時，顯示表備注。若目標表選擇自動建表，目標表的表備註預設為來源表的表備註。

需注意：

• 不支援該功能的資料庫：ClickHouse、Hive、Impala、TRANSWARP INCEPTOR、Informix、MaxCompute、SQLite、StarRocks、InterSystems IRIS。

• 更多說明可參見：資料同步-資料去向與映射
  

4.3 資料過濾

• 可為空

• 可過濾來源表的資料，內容為：使用所選資料庫的文法編寫 WHERE 條件語句（無需填寫 WHERE 關鍵字）

• 支援引用各類參數

• 支援聯動參數值；支援聯動資料表中欄位

• 不支援寫 limit 語句

4.4 並行取數

在資料量很大時，開啟「並行取數」，可提高讀取資料的速度。

開啟並行取數後，寫入方式選擇追加寫入資料且設定邏輯主鍵，可能導致資料重複。

詳情請參見：定時任務呼叫資料庫儲存程式