資料同步-資料來源

  • 文檔創建者:Roxy
  • 編輯次數:16
  • 最近更新:Nikozhan 于 2025-06-25
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    2.2資料來源支援伺服器資料集,支援從 CSV、Excel 檔案中讀取資料
    4.1.3

    1)資料來源Tab下,「資料源」中選擇DB表輸入類型時,新增配置方式設定項,配置方式設定項中可選擇SQL、選表(本版本新增功能)、儲存程式(本版本新增功能

    • 選表:支援直接選表同步資料;直接選表同步資料時,支援併發讀取資料

    • 儲存程式:資料源是 MySQL、Oracle、SQLServer 時,支援呼叫儲存程式

    2)可修改目標表的欄位名

    3)透過「手動建表」功能,可自訂建表的SQL語句,例如修改欄位名、欄位類型、定義各種表的特性等

    4.1.5.4

    資料來源 Tab 中,配置方式選擇選表時,顯示表備

    4.1.11.5配置方式選擇選表時,若選擇了指定資料表,介面展示表所在資料庫或者模式
    4.1.13.2配置方式為「選表」時,支援選欄位
    4.2.2.3並行取數功能支援 SAP HANA 資料庫
    4.2.6.1
    AnalyticDB MySQL 資料源支援並行取數、表描述功能

    1.2 功能簡介

    本文介紹「資料同步」設定資料來源或者使用「資料轉換-DB表輸入」時的配置項說明。

    「資料同步-資料來源」Tab 介面如下圖所示:

    若發現取出的資料需要進行一些複雜的操作,例如欄轉列資料聯動JSON解析等資料處理和轉換,則可以使用「生成資料轉換」功能。

    2. 資料源

    FineDataLink支援的資料源 文檔的第三章內容(支援資料讀取的資料庫)。

    只展示已配置過資料連結且當前使用者有資料連結使用權限的選項。

    3. 配置方式

    「資料源」中選擇DB表輸入類型時,有配置方式設定項,配置方式設定項中可選擇SQL、選表、儲存程式。

    3.1 SQL

    透過 SQL 語句從源資料庫的表中查詢取數,且支援引用參數,參數的具體介紹請參見:参数概述

    使用者可選擇指定的資料庫,並在該資料庫下搜尋需要的資料表,然後寫入右側 SQL 輸入框,如下圖所示:

    注:若選擇的資料連結對應有使用權限的資料庫有多個,則資料庫文法使用表名格式需要為:庫.表名。

    3.2 選表

    頁面如下圖所示:

    支援「選表」功能的算子/節點:DB表輸入、資料同步、參數指派、全局參數中,資料源類型選擇「DB表輸入」類型。

    3.2.1 來源表

    選擇來源表,不能為空。

    4.1.13.2 及之後版本,支援選擇部分欄位。如下圖所示:

    選欄位功能說明如下:

    1)選欄位時若全選欄位,後續該表新增的欄位,不會被當成選中的狀態。

    2)資料來源Tab 中,未選的來源表的欄位,在資料過濾功能中,可被聯想出來。

    3)已被選擇的欄位,若希望取消選擇,有兩種方案:

    4)「資料去向與映射」Tab 下,欄位映射來源端中,僅展示已選的欄位;篩選重新獲取操作,僅對已選的欄位有用。

    5)寫入方式Tab下,設定主鍵時,僅展示已選欄位。

    6)DDL 說明:

    • 選擇欄位後,資料去向與映射Tab 下,源表結構變化監測功能不可用。

    • DDL 變更,針對已選欄位的結構變化來監測,更新欄位映射功能不受影響。

    3.2.2 表描述

    DB表輸入、資料同步、參數指派中,資料源類型選擇「DB表輸入」類型,配置方式選擇選表」時顯示表備注。若目標表選擇自動建表,目標表的表備註預設為來源表的表備註。

    需注意:

    • 不支援該功能的資料庫:ClickHouse、Hive、Impala、TRANSWARP INCEPTOR、Informix、MaxCompute、SQLite、StarRocks、InterSystems IRIS。

    • 更多說明可參見:数据同步-数据去向与映射

    3.2.3 資料過濾

    • 可為空

    • 可過濾來源表的資料,內容為:使用所選資料庫的文法編寫 WHERE 條件語句(無需填寫 WHERE 關鍵字)

    • 支援引用各類參數

    • 支援聯動參數值;支援聯動資料表中欄位

    • 不支援寫 limit 語句

    3.2.4 並行取數

    在資料量很大時,開啟並行取數」,可提高讀取資料的速度。

    開啟並行取數後,寫入方式選擇追加寫入資料且設定邏輯主鍵,可能導致資料重複。

    設定項
    說明
    並行取數開關

    預設關閉

    同時滿足以下三條才生效:

    • 資料來源:目前只支援 MySQL、Oracle、SQL Server、vertica、SAP HANA、AnalyticDB MySQL 資料源的並行取數

    • 資料去向:JDBC 類資料庫

    • 生效算子/節點:資料同步節點、資料轉換中只有「DB表輸入」算子、「DB表匯出」算子

    切分鍵
    • 透過下拉單選框選擇表中的欄位,會按照切分鍵欄位進行資料分片,推薦使用主鍵字

    • 切分鍵的欄位類型需要為數值類型

    • 切分鍵不能為空

    讀取併發數不能為空,使用者可修改讀取併發

    實際執行時,併發數不會超過 CPU 核數

    併發數只代表同作執行的執行緒數,不代表實際切分的任務數;所以 日誌統計Tab下 ,可能會出現併發數為 2 ,實際切分的任務數為 3 的情況

    3.3 儲存程式

    詳情請參見:定时任务调用数据库存储过程



    附件列表


    主題: 資料開發-定時任務
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!