資料同步-伺服器資料集

  • 文檔創建者:Wendy123456
  • 編輯次數:23
  • 最近更新:Nikozhan 于 2025-07-12
  • 1. 概述

    1.1 版本說明

    FineDataLink 版本功能變動
    V2.2資料源類型支援伺服器資料集,支援從 CSV、Excel 檔案中讀取資料

    1.2 應用場景

    使用者希望讀取 Excel 、CSV 檔案資料。

    FineDataLink「資料同步」節點的資料源類型支援伺服器資料集,支援讀取 Excel 、CSV 檔案資料。

    1.3 功能簡介

    使用者可先在「管理系統>資料連結>伺服器資料集」中建立「檔案資料集」:

    注1:上傳的 Excel 資料檔案儲存在%FDL_HOME%\webapps\webroot\WEB-INF\reportlets\excel下。

    注2:使用者 配置伺服器本地目錄資料連結 OR 配置FTP/SFTP資料連結 後,使用「檔案輸入」算子也支援讀取檔案資料。


    「資料同步」節點去讀取該資料集,進而實現 FineDatalink 從 Excel 檔案裏面讀取資料的需求。


    2. 範例一:檔案路徑無參數

    範例為建立檔案資料集(Excel、TXT、XML 格式)。

    範例資料:

    合同事實表.xls


    2.1 建立 Excel 資料集

    1)建立一個檔案資料集。步驟如下圖所示:

    2)資料集命名為「合同事實表資料」,檔案類型選擇「Excel」,點選「本地檔案」按鈕上傳 Excel 檔案。如下圖所示:

    3)點選右上角「儲存」按鈕。至此一個 Excel 檔案資料集就建好了。如下圖所示:

    2.2 配置資料同步節點

    1)點選「資料開發」,建立一個定時任務,拖入「資料同步」節點。

    2)配置資料來源,資料集選擇 2.1 節建立的「合同事實表資料」。如下圖所示:

    點選「資料預覽」,可查看取出的 Excel 資料。如下圖所示:

    3)點選「資料去向與映射」Tab,將取出的 Excel 資料匯出到 MySQL 資料庫中的 hetong 表中,欄位映射就是查看或修改源表跟目標表的欄位關係,此處用預設即可。如下圖所示:

    4)寫入方式選擇「直接將資料寫入目標表」,將全部資料寫入到目標表中。如下圖所示:

    2.3 效果查看

    1)點選「儲存並運作」按鈕。如下圖所示:

    2)任務運作成功後,hetong 表資料如下圖所示:

    3. 範例二:檔案路徑有參數

    如果建立的檔案資料集需要根據某個參數讀取對應的檔案路徑,此時可以在檔案來源處使用參數。

    3.1 設定參數

    設定參數,在資料開發任務中設定 today 參數,顯示當前日期。如下圖所示:

    3.2 建立 Excel 資料集

    1)將 Excel 檔案儲存在某個伺服器下,獲得該檔案的存取 URL。

    注:請確定 FDL 工程可成功存取該檔案,否則將呼叫失敗。

    2)進入 FineDataLink,如下圖步驟建立一個檔案資料集。

    3)資料集命名為「資料」,選擇檔案來源為 URL,輸入檔案存放路徑,其中引用之前設定的參數 today,http://192.168.5.175:8081/${today}.xlsx,如下圖所示:

    例如當天為 2022-09-27 則存取URL 為:http://192.168.5.175:8081/2022-09-27.xlsx

    注:URL地址中若包含中文,必須先進行 URL轉碼 ,在平台填寫轉碼後的路徑,方可正常存取。

    4)選擇參數類型為「日期」,並輸入預設值,點選預覽。如下圖所示:

    5)點選「儲存」按鈕,至此一個 Excel 檔案資料集就建好了。

    3.3 配置資料同步節點

    步驟與 2.2 節一致。

    4. 內容擴展

    「資料轉換」節點中的 檔案輸入 算子:

    • 支援批量讀取同格式的 Excel 和 CSV 檔案

    • 支援 Excel 和 CSV 檔案自訂匯出欄位類型

    • 支援 CSV 檔案跨越前 N 行取數

    • 支援 TXT 檔案讀取

    • 支援忽略後綴名大小寫讀取

    • 支援讀取 json/xml 檔案

    • 檔案類型選擇 CSV 時,支援讀取類 csv 檔案類型,例如tsv、log、dt(csv 和 xml 混合格式)/dbf 等


    附件列表


    主題: 資料開發-定時任務
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!