資料同步-伺服器資料集

1.1 版本說明

1.2 應用場景

使用者希望讀取 Excel 、CSV 檔案資料。

FineDataLink「資料同步」節點的資料源類型支援伺服器資料集，支援讀取 Excel 、CSV 檔案資料。

1.3 功能簡介

使用者可先在「管理系統>資料連結>伺服器資料集」中建立「檔案資料集」：

注1：上傳的 Excel 資料檔案儲存在%FDL_HOME%\webapps\webroot\WEB-INF\reportlets\excel下。

注2：使用者 配置伺服器本地目錄資料連結 OR 配置FTP/SFTP資料連結 後，使用「檔案輸入」算子也支援讀取檔案資料。

「資料同步」節點去讀取該資料集，進而實現 FineDatalink 從 Excel 檔案裏面讀取資料的需求。

範例為建立檔案資料集（Excel、TXT、XML 格式）。

範例資料：

合同事實表.xls

2.1 建立 Excel 資料集

1）建立一個檔案資料集。步驟如下圖所示：

2）資料集命名為「合同事實表資料」，檔案類型選擇「Excel」，點選「本地檔案」按鈕上傳 Excel 檔案。如下圖所示：

3）點選右上角「儲存」按鈕。至此一個 Excel 檔案資料集就建好了。如下圖所示：

2.2 配置資料同步節點

1）點選「資料開發」，建立一個定時任務，拖入「資料同步」節點。

2）配置資料來源，資料集選擇 2.1 節建立的「合同事實表資料」。如下圖所示：

點選「資料預覽」，可查看取出的 Excel 資料。如下圖所示：

3）點選「資料去向與映射」Tab，將取出的 Excel 資料匯出到 MySQL 資料庫中的 hetong 表中，欄位映射就是查看或修改源表跟目標表的欄位關係，此處用預設即可。如下圖所示：

4）寫入方式選擇「直接將資料寫入目標表」，將全部資料寫入到目標表中。如下圖所示：

2.3 效果查看

1）點選「儲存並運作」按鈕。如下圖所示：

2）任務運作成功後，hetong 表資料如下圖所示：

如果建立的檔案資料集需要根據某個參數讀取對應的檔案路徑，此時可以在檔案來源處使用參數。

3.1 設定參數

設定參數，在資料開發任務中設定 today 參數，顯示當前日期。如下圖所示：

3.2 建立 Excel 資料集

1）將 Excel 檔案儲存在某個伺服器下，獲得該檔案的存取 URL。

注：請確定 FDL 工程可成功存取該檔案，否則將呼叫失敗。

2）進入 FineDataLink，如下圖步驟建立一個檔案資料集。

3）資料集命名為「資料」，選擇檔案來源為 URL，輸入檔案存放路徑，其中引用之前設定的參數 today，http://192.168.5.175:8081/${today}.xlsx，如下圖所示：

例如當天為 2022-09-27 則存取URL 為：http://192.168.5.175:8081/2022-09-27.xlsx

注：URL地址中若包含中文，必須先進行 URL轉碼 ，在平台填寫轉碼後的路徑，方可正常存取。

4）選擇參數類型為「日期」，並輸入預設值，點選預覽。如下圖所示：

5）點選「儲存」按鈕，至此一個 Excel 檔案資料集就建好了。

3.3 配置資料同步節點

步驟與 2.2 節一致。

「資料轉換」節點中的 檔案輸入 算子：

• 支援批量讀取同格式的 Excel 和 CSV 檔案

• 支援 Excel 和 CSV 檔案自訂匯出欄位類型

• 支援 CSV 檔案跨越前 N 行取數

• 支援 TXT 檔案讀取

• 支援忽略後綴名大小寫讀取

• 支援讀取 json/xml 檔案

• 檔案類型選擇 CSV 時，支援讀取類 csv 檔案類型，例如tsv、log、dt（csv 和 xml 混合格式）/dbf 等