1. 概述
1.1 版本說明
| FineDataLink 版本 | 功能變動 |
|---|---|
| 3.1 | 新增節點「資料轉換」 |
| 4.1.2 | 新增「欄位拆列」「欄位拆行」「分組匯總」算子 |
| 4.1.3 | 「DB表輸入」算子，資料源類型選擇「DB表輸入」類型時：
|
| 4.1.6.4 | 新增「MongoDB匯出」算子，可將資料匯出到 MongoDB |
| 4.1.11.3 | 新增「Elasticsearch匯出」算子，可將資料匯出到Elasticsearch |
| 4.2.0.2 | 新增「Elasticsearch輸入」算子，可讀取指定 Elasticsearch 資料庫中的資料 |
| 查看歷史版本更新 | ||||||||||||||||||||||||||||||||||||
|
1.2 應用場景
資料同步節點 支援將資料進行跨資料庫的同步，但是如果使用者希望將資料進行比較複雜的處理（JSON 解析、多表聯動等）後再同步至資料庫中，則需要使用資料轉換功能。如下圖所示：
注：若使用者希望將大量的資料直接抽取同步寫入資料庫中，且想要同步的資料不需要非常複雜的處理步驟，則可以使用 資料同步節點
1.3 功能簡介
「資料轉換」提供輸入、匯出、轉換等類型的算子，可在抽數程式中實現複雜的資料處理。
注：資料轉換和資料同步的差別詳情參見：資料同步與資料轉換的差別
2. 功能列表
進入「資料轉換」節點，介面如下圖所示：
「資料轉換」節點中包含的算子介紹如下表所示：
| 分類 | 算子 | 說明 |
|---|---|---|
| 資料輸入 | DB表輸入 | 讀取關係型資料庫表中的資料 具體請參見：FineDataLink支援的資料源 功能與 資料同步-資料來源 一致 |
| API輸入 | 從 API 中讀取資料，支援 RESTful API 和 WebService API | |
| 檔案輸入 | 從 FineDataLink 伺服器本地和 FTP/SFTP 伺服器上讀取 Excel、CSV、Txt 檔案資料 | |
| 簡道雲輸入 | 讀取簡道雲表單中的資料 | |
| MongoDB輸入 | 讀取 MongoDB 中指定集合的資料 | |
| SAP RFC輸入 | 支援透過 RFC API呼叫 SAP 系統內已經開發好的函式，並將資料取出 | |
| 資料集輸入 | 支援讀取檔案資料集（Excel、TXT、XML、CSV）、樹資料集、儲存程式、程式資料集、內建資料集、聯動資料集。其中儲存程式、程式資料集、內建資料集、聯動資料集僅在FineReport設計器可定義 注1：若BI公共資料某列的值包含-∞、＋∞，「資料集輸入」算子不支援讀取 注2：若讀取BI資料，即使「樣本設定」中取樣量設定為全部資料，也只會讀取前5000條（BI產品限制） | |
| 資料匯出 | DB表匯出 | 將資料匯出到關係型資料庫表 |
| 參數匯出 | 將取到的資料匯出為參數，供下游節點使用 | |
| API匯出 | 將資料匯出到API | |
| 簡道雲匯出 | 將資料匯出到簡道雲表單 | |
| 檔案匯出 | 可將資料匯出為檔案形式 | |
| MongoDB匯出 | 將資料匯出到 MongoDB | |
| Elasticsearch匯出 | 將資料匯出到 Elasticsearch | |
| 連結 | 資料聯動 | 使用者兩張資料表在不同的資料庫中，希望能夠將兩張不同來源庫的表進行聯動生成新表。連結方式如下：
|
| 資料比對 | 將 2 個輸入資料進行比較，篩選出新增、刪除、相同、更新的資料 | |
| 上下合併 | 可對多張表進行上下行合併，匯出一張合併表 | |
| 轉換 | 欄轉列 | 實現資料表行列結構的改變，欄轉列 |
| 列轉欄 | 實現資料表行列結構的改變，列轉欄 | |
| JSON解析 | 解析 JSON 結構的資料，匯出行列格式的資料 | |
| XML解析 | 將 XML 格式資料解析為行列格式資料 | |
| 欄位設定 | 可實現資料流欄位的選擇、重新命名、資料類型轉換操作 | |
| 新增計算列 | 在不影響原有欄位的情況下，可利用原有欄位透過引用或計算獲得一個新的欄位 | |
| 資料過濾 | 過濾符合條件的資料記錄 | |
| JSON生成 | 選擇欄位，將表單資料，轉換為生成多個 JSON 物件，使用者可以在其中配置多層 JSON 嵌套 | |
| 欄位拆列 | 欄位值按照特定規則（分隔符或字元數）拆分，拆分後的結果形成新的多欄欄位和值 | |
| 欄位拆行 | 欄位值按照特定規則（分隔符）拆分，拆分後的結果形成新的一欄欄位和值 | |
| 分組匯總 | 對原始資料根據條件將相同的資料先合併到一組，然後按照分組後的資料進行匯總計算 | |
| 實驗室 | Spark SQL | Spark SQL 基於內建 Spark 計算引擎，滿足使用者查詢資料、處理資料的需求，支援使用參數、函式 |
| Python 算子 | 可呼叫 Python 腳本進行復雜資料處理 | |
| 其他 | 備註說明 | 可幫助使用者為任務、節點增加備註 |
