多流資料合併、運算專題- FineDatalink 幫助文檔

文檔創建者：Roxy

編輯次數：6

最近更新：Nikozhan 于 2025-07-24

1. 概述

在使用 FineDataLink 「資料開發」搭建數倉或者進行資料處理時，經常需要進行資料的清洗、處理、計算等，FineDataLink 提供了多種視覺化算子，使用者無需編寫複雜的 SQL 語句即可快速方便的進行資料處理，提高開發效率。

本文將全面的介紹使用各種視覺化算子，對資料進行快速清洗處理，比 SQL 更快更簡便的完成任務開發。

2. 索引

序號	應用場景	功能說明	文檔
1	多個業務系統的表資料中存在相同欄位或相同含義的欄位，需要將不同的來源資料上下合併到一個表匯出	「上下合併」算子，可對多張表進行上下行合併，匯出一張合併表	上下合并
2	兩張資料表在不同的資料庫中，希望能夠將兩張不同來源庫的表進行聯動生成新表	資料聯動可實現異構資料聯動	資料聯動
3	多個列的表頭作為欄位值，合併到一個新列中，實現對多種指標的歸納和總結，方便進行分析和展示。將一維表轉成二維表		欄轉列列轉欄
4	資料解析（JSON、XML格式資料）	解析 JSON 結構的資料，匯出行列格式的資料將 XML 格式資料解析為行列格式資料	JSON解析算子功能说明 XML解析算子
5	對資料欄位類型、名稱等進行設定	「欄位設定」算子可對接入資料的欄位做以下操作：刪除部分欄位。欄位重新命名。修改欄位類型。	字段设置
6	對資料按照需求進行欄位拆分	欄位值按照特定規則（分隔符或字元數）拆分，拆分後的結果形成新的多欄欄位和值按照特定規則（分隔符）拆分，拆分後的結果形成新的一欄欄位和值	字段拆列欄位拆行算子
7	使用者資料存在空值，想過濾掉空值資料	過濾指定資料	資料過濾
8	同類資料的匯總計算	「分組匯總」對原始資料根據條件將相同的資料先合併到一組，然後按照分組後的資料進行匯總計算。	分组汇总
9	常用時間資料處理	可使用 SparkSQL 算子或者新增列算子實現時間欄位的處理	新增列：常見日期公式 SparkSQL：SparkSQL日期函数
10	常用正文資料處理	可使用 SparkSQL 算子或者新增列算子實現正文欄位的處理	新增列：字串清洗新增列_条件赋值新增欄_分組指派字串連接和截取 SparkSQL： SparkSQL字符串函数
11	「編碼函式」、「加密函式」、「簽章函式」等常用於進行API加密認證取數時的 Token 生成。	可使用 SparkSQL 算子實現資料加密解密應用	SparkSQL编码、加密、解密函数最佳實踐： API取数-SHA2加密身份验证&按页数取数参数使用MD5加密后从API取数

已經是第一篇

已經是最後一篇

有幫助
沒幫助
只是瀏覽

中文（简体） English

中文（繁體）

多流資料合併、運算專題

1. 概述

2. 索引

附件列表