1. 概述
在使用 FineDataLink 「資料開發」搭建數倉或者進行資料處理時,經常需要進行資料的清洗、處理、計算等,FineDataLink 提供了多種視覺化算子,使用者無需編寫複雜的 SQL 語句即可快速方便的進行資料處理,提高開發效率。
本文將全面的介紹使用各種視覺化算子,對資料進行快速清洗處理,比 SQL 更快更簡便的完成任務開發。
2. 索引
| 序號 | 應用場景 | 功能說明 | 文檔 |
|---|---|---|---|
| 1 | 多個業務系統的表資料中存在相同欄位或相同含義的欄位,需要將不同的來源資料上下合併到一個表匯出 | 「上下合併」算子,可對多張表進行上下行合併,匯出一張合併表 | 上下合并 |
| 2 | 兩張資料表在不同的資料庫中,希望能夠將兩張不同來源庫的表進行聯動生成新表 | 資料聯動可實現異構資料聯動 | 資料聯動 |
| 3 |
| ||
| 4 | 資料解析(JSON、XML格式資料) | 解析 JSON 結構的資料,匯出行列格式的資料 將 XML 格式資料解析為行列格式資料 | |
| 5 | 對資料欄位類型、名稱等進行設定 | 「欄位設定」算子可對接入資料的欄位做以下操作:
| 字段设置 |
| 6 | 對資料按照需求進行欄位拆分 |
| |
| 7 | 使用者資料存在空值,想過濾掉空值資料 | 過濾指定資料 | 資料過濾 |
| 8 | 同類資料的匯總計算 | 「分組匯總」對原始資料根據條件將相同的資料先合併到一組,然後按照分組後的資料進行匯總計算。 | 分组汇总 |
| 9 | 常用時間資料處理 | 可使用 SparkSQL 算子或者新增列算子實現時間欄位的處理 | 新增列:常見日期公式 SparkSQL:SparkSQL日期函数 |
| 10 | 常用正文資料處理 | 可使用 SparkSQL 算子或者新增列算子實現正文欄位的處理 | 新增列:字串清洗 SparkSQL: |
| 11 | 「編碼函式」、「加密函式」、「簽章函式」等常用於進行API加密認證取數時的 Token 生成。 | 可使用 SparkSQL 算子實現資料加密解密應用 | 最佳實踐: |
