多流資料合併、運算專題

  • 文檔創建者:Roxy
  • 編輯次數:6
  • 最近更新:Nikozhan 于 2025-07-24
  • 1. 概述

    在使用 FineDataLink 「資料開發」搭建數倉或者進行資料處理時,經常需要進行資料的清洗、處理、計算等,FineDataLink 提供了多種視覺化算子,使用者無需編寫複雜的 SQL 語句即可快速方便的進行資料處理,提高開發效率。

    本文將全面的介紹使用各種視覺化算子,對資料進行快速清洗處理,比 SQL 更快更簡便的完成任務開發。

    2. 索引

    序號應用場景功能說明文檔
    1多個業務系統的表資料中存在相同欄位或相同含義的欄位,需要將不同的來源資料上下合併到一個表匯出上下合併算子,可對多張表進行上下行合併,匯出一張合併表上下合并
    2兩張資料表在不同的資料庫中,希望能夠將兩張不同來源庫的表進行聯動生成新表資料聯動可實現異構資料聯動資料聯動
    3
    • 多個列的表頭作為欄位值,合併到一個新列中,實現對多種指標的歸納和總結,方便進行分析和展示。

    • 將一維表轉成二維表

    欄轉列

    列轉欄

    4

    資料解析(JSON、XML格式資料)

    解析 JSON 結構的資料,匯出行列格式的資料

    將 XML 格式資料解析為行列格式資料

    JSON解析算子功能说明

    XML解析算子

    5對資料欄位類型、名稱等進行設定

    「欄位設定」算子可對接入資料的欄位做以下操作:

    • 刪除部分欄位。

    • 欄位重新命名。

    • 修改欄位類型。

    字段设置
    6對資料按照需求進行欄位拆分
    • 欄位值按照特定規則(分隔符或字元數)拆分,拆分後的結果形成新的多欄欄位和值

    • 按照特定規則(分隔符)拆分,拆分後的結果形成新的一欄欄位和值

    字段拆列

    欄位拆行算子

    7使用者資料存在空值,想過濾掉空值資料

    過濾指定資料

    資料過濾
    8同類資料的匯總計算

    「分組匯總」對原始資料根據條件將相同的資料先合併到一組,然後按照分組後的資料進行匯總計算。

    分组汇总
    9常用時間資料處理可使用 SparkSQL 算子或者新增列算子實現時間欄位的處理

    新增列:常見日期公式

    SparkSQL:SparkSQL日期函数

    10常用正文資料處理可使用 SparkSQL 算子或者新增列算子實現正文欄位的處理

    新增列:字串清洗

    新增列_条件赋值

    新增欄_分組指派

    字串連接和截取

    SparkSQL:

    SparkSQL字符串函数

    11

    「編碼函式」、「加密函式」、「簽章函式」等常用於進行API加密認證取數時的 Token 生成。

    可使用 SparkSQL 算子實現資料加密解密應

    SparkSQL编码、加密、解密函数

    最佳實踐:

    API取数-SHA2加密身份验证&按页数取数

    参数使用MD5加密后从API取数

     


    附件列表


    主題: 最佳實踐
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙