1. 概述
1.1 版本
FineDataLink 版本 | 功能變動 |
---|---|
4.0.13 | - |
4.1.0 |
|
1.2 應用場景
參數指派 可以將上游節點的結果匯出至下游節點使用,但有些資料需要進行進一步處理才能作為參數匯出,並不能直接匯出參數。
使用者期望能夠對資料進行處理後直接匯出參數,不需要將處理結果匯出資料庫再從資料庫取值作為參數。
1.3 功能簡介
FineDataLink 支援在「数据转换」中直接進行參數匯出。如下圖所示:
1.4 使用需知
注:參數作用範圍:下游分支的所有節點;使用場景:適用於參數值較多,且參數值儲存在資料庫表、API、檔案等位置中,需要將參數值取出,進行復雜計算的場景。
1)參數使用的約束限制、功能使用與「參數指派」相同,詳情參見:參數指派
2)FDL 中參數可分為:任務內參數、全局參數、內建參數三類,使用說明請參見:如何配置并使用参数
3)參數在 FDL 中的應用場景請參見:参数在FDL中的典型应用场景
4)demo 範例詳情參見:https://demo.finedatalink.com/ 「資料轉換-參數匯出-複本」
2. 操作步驟
範例:將 API 資料進行解析處理後,將滿足條件的資料設定為參數,並將資料庫表中滿足參數條件的資料取出至指定資料庫。
https://fine-build.oss-cn-shanghai.aliyuncs.com/finedata/doc/book.json 資料需要進行解析並取出 isbn 不為空的資料。
將這些資料中的 author 作為參數匯出,並輸入給 book 資料表中。
從中取出滿足參數條件的資料,匯出至 book_out 資料表中。
2.1 匯出為參數
2.1.1 讀取 API 資料
1)建立定時任務,拖入「資料轉換」節點,進入「資料轉換」節點。
2)拖入「API輸入」算子,讀取 API 資料。API 地址為: https://fine-build.oss-cn-shanghai.aliyuncs.com/finedata/doc/book.json ,不勾選「將解析後的JSON資料展開為二維表」,使得讀取後的資料為 JSON 格式。如下圖所示:
點選「資料預覽」,可查看讀取的 JSON 格式的資料。如下圖所示:
2.1.2 解析 JSON 資料
1)拖入「JSON解析」算子,解析 category、author、title、price、isbn 欄位。如下圖所示:
點選「資料預覽」,可查看解析後的資料。如下圖所示:
2.1.3 過濾資料
拖入「資料過濾」算子,過濾出 isbn 不為空的資料。如下圖所示:
2.1.4 匯出參數
1)拖入「參數匯出」算子,將 author 欄位作為參數匯出。如下圖所示:
注:建議給參數設定一個除錯值,便於後續節點引用參數時預覽結果;該除錯值不影響實際運作。
2)點選左上角「傳回」按鈕。
2.2 循環容器設定
1)由於 2.1 節匯出的參數有多個參數值,因此需要使用「循環容器」功能,將多個參數值一個個傳入「資料同步」節點中。
拖入「循環容器」節點,「循環容器」節點設定如下圖所示:
2)「循環容器」節點中拖入「資料同步」節點。在「資料同步」節點,從資料表 book 中取出滿足參數條件 author 的資料。如下圖所示:
點選「資料預覽」,可看到取出 author 為參數除錯值的資料。如下圖所示:
3)設定「資料去向與映射」,寫入方式選擇「直接將資料寫入目標表」。
2.3 效果查看
點選右上角「儲存並運作」按鈕,任務執行成功後,book_out 中的資料如下圖所示: