1. 概述
1.1 版本
FineDataLink 版本 | 功能變動 |
---|---|
2.2 | 資料來源支援伺服器資料集,支援從 CSV、Excel 檔案中讀取資料 |
4.1.3 | 1)資料來源Tab下,「資料源」中選擇DB表輸入類型時,新增「配置方式」設定項,「配置方式」設定項中可選擇SQL、選表(本版本新增功能)、儲存程式(本版本新增功能)
2)可修改目標表的欄位名 3)透過「手動建表」功能,可自訂建表的SQL語句,例如修改欄位名、欄位類型、定義各種表的特性等 |
4.1.5.4 | 資料來源 Tab 中,配置方式選擇「選表」時,顯示表備注 |
4.1.11.5 | 配置方式選擇「選表」時,若選擇了指定資料表,介面展示表所在資料庫或者模式 |
4.1.13.2 | 配置方式為「選表」時,支援選欄位 |
4.2.2.3 | 並行取數功能支援 SAP HANA 資料庫 |
4.2.6.1 | AnalyticDB MySQL 資料源支援並行取數、表描述功能 |
1.2 功能簡介
本文介紹「資料同步」設定資料來源或者使用「資料轉換-DB表輸入」時的配置項說明。
「資料同步-資料來源」Tab 介面如下圖所示:
若發現取出的資料需要進行一些複雜的操作,例如欄轉列、資料聯動、JSON解析等資料處理和轉換,則可以使用「生成資料轉換」功能。
2. 資料源
FineDataLink支援的資料源 文檔的第三章內容(支援資料讀取的資料庫)。
只展示已配置過資料連結且當前使用者有資料連結使用權限的選項。
3. 配置方式
「資料源」中選擇DB表輸入類型時,有「配置方式」設定項,「配置方式」設定項中可選擇SQL、選表、儲存程式。
3.1 SQL
透過 SQL 語句從源資料庫的表中查詢取數,且支援引用參數,參數的具體介紹請參見:参数概述
使用者可選擇指定的資料庫,並在該資料庫下搜尋需要的資料表,然後寫入右側 SQL 輸入框,如下圖所示:
注:若選擇的資料連結對應有使用權限的資料庫有多個,則資料庫文法使用表名格式需要為:庫.表名。
3.2 選表
頁面如下圖所示:
支援「選表」功能的算子/節點:DB表輸入、資料同步、參數指派、全局參數中,資料源類型選擇「DB表輸入」類型。
3.2.1 來源表
選擇來源表,不能為空。
4.1.13.2 及之後版本,支援選擇部分欄位。如下圖所示:
選欄位功能說明如下:
1)選欄位時若全選欄位,後續該表新增的欄位,不會被當成選中的狀態。
2)「資料來源」Tab 中,未選的來源表的欄位,在「資料過濾」功能中,可被聯想出來。
3)已被選擇的欄位,若希望取消選擇,有兩種方案:
4)「資料去向與映射」Tab 下,欄位映射來源端中,僅展示已選的欄位;「篩選」和「重新獲取」操作,僅對已選的欄位有用。
5)「寫入方式」Tab下,設定主鍵時,僅展示已選欄位。
6)DDL 說明:
選擇欄位後,「資料去向與映射」Tab 下,源表結構變化監測功能不可用。
DDL 變更,針對已選欄位的結構變化來監測,「更新欄位映射」功能不受影響。
3.2.2 表描述
DB表輸入、資料同步、參數指派中,資料源類型選擇「DB表輸入」類型,配置方式選擇「選表」時,顯示表備注。若目標表選擇自動建表,目標表的表備註預設為來源表的表備註。
需注意:
不支援該功能的資料庫:ClickHouse、Hive、Impala、TRANSWARP INCEPTOR、Informix、MaxCompute、SQLite、StarRocks、InterSystems IRIS。
更多說明可參見:数据同步-数据去向与映射
3.2.3 資料過濾
可為空
可過濾來源表的資料,內容為:使用所選資料庫的文法編寫 WHERE 條件語句(無需填寫 WHERE 關鍵字)
支援引用各類參數
支援聯動參數值;支援聯動資料表中欄位
不支援寫 limit 語句
3.2.4 並行取數
在資料量很大時,開啟「並行取數」,可提高讀取資料的速度。
開啟並行取數後,寫入方式選擇追加寫入資料且設定邏輯主鍵,可能導致資料重複。
設定項 | 說明 |
---|---|
並行取數開關 | 預設關閉 同時滿足以下三條才生效:
|
切分鍵 |
|
讀取併發數 | 不能為空,使用者可修改讀取併發數 實際執行時,併發數不會超過 CPU 核數 併發數只代表同作執行的執行緒數,不代表實際切分的任務數;所以 日誌統計Tab下 ,可能會出現併發數為 2 ,實際切分的任務數為 3 的情況 |
3.3 儲存程式
詳情請參見:定时任务调用数据库存储过程