1. 概述
1.1 版本說明
| FineDataLink 版本 | 功能變動 |
|---|---|
| V2.2 | 資料源類型支援伺服器資料集,支援從 CSV、Excel 檔案中讀取資料 |
1.2 應用場景
使用者希望讀取 Excel 、CSV 檔案資料。
FineDataLink「資料同步」節點的資料源類型支援伺服器資料集,支援讀取 Excel 、CSV 檔案資料。
1.3 功能簡介
使用者可先在「管理系統>資料連結>伺服器資料集」中建立「檔案資料集」:
注1:上傳的 Excel 資料檔案儲存在%FDL_HOME%\webapps\webroot\WEB-INF\reportlets\excel下。
注2:使用者 配置伺服器本地目錄資料連結 OR 配置FTP/SFTP資料連結 後,使用「檔案輸入」算子也支援讀取檔案資料。

「資料同步」節點去讀取該資料集,進而實現 FineDatalink 從 Excel 檔案裏面讀取資料的需求。

2. 範例一:檔案路徑無參數
範例為建立檔案資料集(Excel、TXT、XML 格式)。
範例資料:
2.1 建立 Excel 資料集
1)建立一個檔案資料集。步驟如下圖所示:

2)資料集命名為「合同事實表資料」,檔案類型選擇「Excel」,點選「本地檔案」按鈕上傳 Excel 檔案。如下圖所示:

3)點選右上角「儲存」按鈕。至此一個 Excel 檔案資料集就建好了。如下圖所示:

2.2 配置資料同步節點
1)點選「資料開發」,建立一個定時任務,拖入「資料同步」節點。
2)配置資料來源,資料集選擇 2.1 節建立的「合同事實表資料」。如下圖所示:

點選「資料預覽」,可查看取出的 Excel 資料。如下圖所示:

3)點選「資料去向與映射」Tab,將取出的 Excel 資料匯出到 MySQL 資料庫中的 hetong 表中,欄位映射就是查看或修改源表跟目標表的欄位關係,此處用預設即可。如下圖所示:

4)寫入方式選擇「直接將資料寫入目標表」,將全部資料寫入到目標表中。如下圖所示:

2.3 效果查看
1)點選「儲存並運作」按鈕。如下圖所示:

2)任務運作成功後,hetong 表資料如下圖所示:

3. 範例二:檔案路徑有參數
如果建立的檔案資料集需要根據某個參數讀取對應的檔案路徑,此時可以在檔案來源處使用參數。
3.1 設定參數
設定參數,在資料開發任務中設定 today 參數,顯示當前日期。如下圖所示:

3.2 建立 Excel 資料集
1)將 Excel 檔案儲存在某個伺服器下,獲得該檔案的存取 URL。
注:請確定 FDL 工程可成功存取該檔案,否則將呼叫失敗。
2)進入 FineDataLink,如下圖步驟建立一個檔案資料集。

3)資料集命名為「資料」,選擇檔案來源為 URL,輸入檔案存放路徑,其中引用之前設定的參數 today,http://192.168.5.175:8081/${today}.xlsx,如下圖所示:
例如當天為 2022-09-27 則存取URL 為:http://192.168.5.175:8081/2022-09-27.xlsx
注:URL地址中若包含中文,必須先進行 URL轉碼 ,在平台填寫轉碼後的路徑,方可正常存取。

4)選擇參數類型為「日期」,並輸入預設值,點選預覽。如下圖所示:

5)點選「儲存」按鈕,至此一個 Excel 檔案資料集就建好了。
3.3 配置資料同步節點
步驟與 2.2 節一致。
4. 內容擴展
「資料轉換」節點中的 檔案輸入 算子:
支援批量讀取同格式的 Excel 和 CSV 檔案
支援 Excel 和 CSV 檔案自訂匯出欄位類型
支援 CSV 檔案跨越前 N 行取數
支援 TXT 檔案讀取
支援忽略後綴名大小寫讀取
支援讀取 json/xml 檔案
檔案類型選擇 CSV 時,支援讀取類 csv 檔案類型,例如tsv、log、dt(csv 和 xml 混合格式)/dbf 等
