1. 概述
1.1 版本說明
FineDataLink 版本 | 功能變動 |
---|---|
4.0.13 | - |
1.2 應用場景
資料同步與資料轉換的差別 已經說明了兩個功能的應用差別。
「資料同步」:資料獲取—簡單處理—匯出
「資料轉換」:資料獲取—複雜處理—匯出
然而使用者在進行資料處理時,可能預估使用「資料同步」即可完成跨資料庫資料遷移,但在實際使用時發現需要進行一些複雜的操作;
或者認為使用「参数赋值」即可直接取出指定資料作為參數值,卻發現取出資料作為參數之前需要進行一些複雜的資料處理。
此時即可使用「生成資料轉換」功能,實現快速切換,讓使用者的使用更流暢。
1.3 功能說明
FineDataLink 提供「生成資料轉換」功能。
支援將「資料同步」、「參數指派」一鍵生成「資料轉換」。
注1:當「循環容器」內的「資料同步」「參數指派」快速轉「資料轉換」時,生成的「資料轉換」限制在循環容器內。
注2:若「資料同步」、「參數指派」前後有節點遠端,轉「資料轉換」時,生成的「資料轉換」不影響原先節點遠端關係。
2. 資料同步生成資料轉換
使用者有一個API資料 http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json,希望將滿足 category 為 fiction 的資料取到指定資料庫中。
首先使用了「資料同步」功能,選擇資料源類型為 API ,同時進行 API 配置,然後在回傳值處理中的 JSON 路徑寫入$.store.book,取出 book 陣列下的所有資料,如下圖所示:
點選資料預覽,如下圖所示:
此時發現,沒有辦法取到 category 只有 fiction 的資料。
這時可以使用「生成資料轉換」,即新增一個「資料轉換」節點,在編輯介面預設生成輸入和匯出兩個節點,如下圖所示:
生成的內容會預設保留之前的配置,如下圖所示:
此時可以新增一個「Spark SQL」,過濾出滿足條件的資料,如下圖所示:
然後設定匯出資料庫資訊即可,如下圖所示:
3. 參數指派生成資料轉換
使用者希望 API 資料進行解析處理後,將滿足條件的資料設定為參數,並將資料庫表中滿足參數條件的資料取出至指定資料庫。
http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 資料需要進行解析並取出 isbin 不為空的資料;
將這些資料中的 author 作為參數匯出,並輸入給 book 資料表中;
從中取出滿足參數條件的資料,匯出至 book_out 資料表中。
此時首先使用了參數指派功能,如下圖所示:
然後發現 参数赋值 未提供複雜解析和處理的功能,因此只能先在「資料轉換」裏做處理資料並取至資料庫後,再使用「參數指派」匯出為參數,使用成本較高。
使用者期望能夠對資料進行處理後直接匯出參數,不需要將處理結果匯出資料庫在從資料庫取值作為參數。因此可以點選生成資料轉換,即新增一個「資料轉換」節點,在編輯介面預設生成輸入和匯出兩個節點,可以進行一些資料複雜處理,如下圖所示:
後續操作步驟詳情參見:参数输出