生成資料轉換

  • 文檔創建者:Roxy
  • 編輯次數:9
  • 最近更新:Nikozhan 于 2025-04-15
  • 1. 概述

    1.1 版本說明

    FineDataLink 版本功能變動
    4.0.13

    -

    1.2 應用場景

    資料同步與資料轉換的差別 已經說明了兩個功能的應用差別。

    • 「資料同步」:資料獲取—簡單處理—匯出

    • 「資料轉換」:資料獲取—複雜處理—匯出

    然而使用者在進行資料處理時,可能預估使用「資料同步」即可完成跨資料庫資料遷移,但在實際使用時發現需要進行一些複雜的操作;

    或者認為使用「参数赋值」即可直接取出指定資料作為參數值,卻發現取出資料作為參數之前需要進行一些複雜的資料處理。

    此時即可使用「生成資料轉換」功能,實現快速切換,讓使用者的使用更流暢。

    1.3 功能說明

    FineDataLink 提供「生成資料轉換」功能。

    支援將「資料同步」、「參數指派」一鍵生成「資料轉換」。

    注1:當「循環容器」內的「資料同步」「參數指派」快速轉「資料轉換」時,生成的「資料轉換」限制在循環容器內。

    注2:若「資料同步」、「參數指派」前後有節點遠端,轉「資料轉換」時,生成的「資料轉換」不影響原先節點遠端關係。

    2. 資料同步生成資料轉換

    使用者有一個API資料 http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json,希望將滿足  category 為 fiction 的資料取到指定資料庫中。

    首先使用了「資料同步」功能,選擇資料源類型為 API ,同時進行 API 配置,然後在回傳值處理中的 JSON 路徑寫入$.store.book,取出 book 陣列下的所有資料,如下圖所示:

    點選資料預覽,如下圖所示:

    此時發現,沒有辦法取到 category 只有 fiction 的資料。

    這時可以使用「生成資料轉換」,即新增一個「資料轉換」節點,在編輯介面預設生成輸入和匯出兩個節點,如下圖所示:

    生成的內容會預設保留之前的配置,如下圖所示:

    此時可以新增一個「Spark SQL」,過濾出滿足條件的資料,如下圖所示:

    然後設定匯出資料庫資訊即可,如下圖所示:

    3. 參數指派生成資料轉換

    使用者希望 API 資料進行解析處理後,將滿足條件的資料設定為參數,並將資料庫表中滿足參數條件的資料取出至指定資料庫。

    • http://fine-doc.oss-cn-shanghai.aliyuncs.com/book.json 資料需要進行解析並取出 isbin 不為空的資料;

    • 將這些資料中的 author 作為參數匯出,並輸入給 book 資料表中;

    • 從中取出滿足參數條件的資料,匯出至 book_out 資料表中。

    此時首先使用了參數指派功能,如下圖所示:

    然後發現 参数赋值 未提供複雜解析和處理的功能,因此只能先在「資料轉換」裏做處理資料並取至資料庫後,再使用「參數指派」匯出為參數,使用成本較高。

    使用者期望能夠對資料進行處理後直接匯出參數,不需要將處理結果匯出資料庫在從資料庫取值作為參數。因此可以點選生成資料轉換,即新增一個「資料轉換」節點,在編輯介面預設生成輸入和匯出兩個節點,可以進行一些資料複雜處理,如下圖所示:

    後續操作步驟詳情參見:参数输出

    附件列表


    主題: 資料開發-定時任務
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!