FineDataLink模組介紹

1.1 各功能模組簡介

FineDataLink 主要包含資料開發、資料管道、資料服務、資料管理、管理系統這幾個主要模組。如下圖所示：

FineDataLink 各模組支援的資料源請參見：FineDataLink支援的資料源

1）定時任務、實時任務、定時管道、實時管道都能將資料從 A 點同步到 B 點，這幾個模組的差別如下：

2）其他模組的說明如下：

模組		說明
資料服務	資料查詢API	將資料庫資料，發佈為一個API，呼叫該API後，可查詢資料庫數據 效果範例
	資料接收API	功能簡介： 使用資料服務功能發佈一個「僅配置地址」的資料接收API，實時任務中透過該API讀取變化資料，對變化資料進行處理後再實時地匯出 特點： 呼叫發佈的API，將變化資料進行處理後再實時匯出
資料管理	庫表管理	對於支援 SQL 語句的資料庫，支援使用者寫 SQL 進行查詢、修改表 可查看表資料、表結構、修改表名稱/描述、清空表、刪除表、複列表等
	血緣分析	選擇資料連結的某張表後，可查看資料表、API（資料服務）、定時任務節點、管道任務的血緣關係
	資料檢查任務	在檢查任務中，支援自訂配置檢查規則，對資料品質進行定期檢測 定時任務中，支援呼叫資料檢查任務
	清洗規則	支援建立、管理全局清洗規則，包含取代、加解密、公式規則 設定的清洗規則可以在「資料開發」的「值取代」算子中引用
維運中心	維運中心	為不同類型的任務提供獨立的維運介面，使用者可以根據任務類型在相應的介面進行管理和維護
管理系統	權限概述	給部門、角色、人員分配功能模組、資料連結的使用、管理、授權權限
	使用者管理	管理 FineDataLink 工程中的使用者
	註冊簡介	功能模組、資料源使用前，需要先註冊功能點
	資料連結	在使用 FineDataLink 處理、同步資料前，您需要先定義資料連結，以便在執行資料處理操作時，透過「資料庫>資料連結名稱>資料表」，來確定資料的讀取和寫入位置

1.2 模組組合應用

2.1 資料開發-定時任務

支援在視覺化介面使用各個節點和算子進行資料的抽取、轉換和裝載，並可以透過排程管理功能自動運作定時任務，幫助您輕鬆構建離線數倉，保證資料生産的高效穩定。

詳情請參見：定時任務概述、定時任務能力說明

2.2 資料開發-實時任務

注：配置實時任務前，需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。

能夠實時地把資料從 A 點投遞到 B 點。在投遞的程式中可能新增資料清理的工作，例如實時數倉中的資料解析等。最終結果可供後續業務使用，以提高資料利用率和時效性，滿足業務需求。

詳情請參見：實時任務概述

實時同步效果如下圖所示：

2.3 實時管道任務

注：配置實時管道任務前，需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。

1）可實時將大規模資料自動同步到目標表中。

2）效果如下圖所示：

2.4 定時管道任務

當前開發者在對接標準平台時，面臨雲上應用資料源對接不準確、效率低、維運成本高的問題。希望提供一種快速、精準、低維運的對接方案，簡化開發流程，提升對接效率。

定時管道任務支援讀取應用系統（雲端）資料源，將資料定時同步到目標表中。

2.5 資料服務

 資料服務功能支援發布兩種類型的API：資料查詢API、資料接收API。

詳情請參見：資料服務功能概述

2.6 維運中心

FineDataLink 為不同類型的任務提供獨立的維運介面，使用者可以根據任務類型在相應的介面進行管理和維護，同時，對於相同類型的任務，我們提供多維度的維運監視，確定您能夠全面掌握任務的運作狀態和效能指標。

詳情請參見：維運中心概述

2.7 資料管理

詳情請參見：資料管理概述

2.8 管理系統

詳情請參見：管理系統簡介

為了給您提供更方便高效的說明文檔，我們誠邀您參與此次問卷調研，參與到幫助中心的建設中來。

您的建議和意見將成為我們努力和改進的方向。我們將為您在問卷中提供的資訊保密。

問卷連結：FineDataLink文檔內容調研