1. 概述
FineDataLink 主要包含資料開發、資料管道、資料服務、資料管理、管理系統這幾個主要模組。如下圖所示:

FineDataLink 各模組支援的資料源請參見:FineDataLink支援的資料源
| 模組 | 說明 | |
|---|---|---|
| 資料開發 | 定時任務 |
支援對單表進行複雜資料處理,定時同步到目標端
|
| 實時任務 | 支援對單表進行簡單處理,實時同步到目標端
| |
| 資料管道 | 實時管道任務 | 支援單表、多表、整庫、多對一的實時同步,原表原樣同步
|
| 定時管道任務 | 應用系統雲端資料源的單表、多表定時同步;支援解析主子表 1)來源端表結構變化後,目標端可以自動同步這些來源端的調整,不需要人為的進行資料表的調整 2)源表資料發生增刪改,目標表資料變化邏輯:
3)任務中斷後,下次啟動從斷點所在批次續傳 | |
| 資料服務 | 資料查詢API | 將資料庫資料,發布為一個API,呼叫該API後,可查詢資料庫數據 |
| 資料接收API | 發布一個API,接收上遊下發和簡道雲推播的資料,解析後寫入資料庫 | |
| 資料管理 | 庫表管理 |
|
| 血緣分析 | 選擇資料連結的某張表後,可查看資料表、API(資料服務)、定時任務節點、管道任務的血緣關系 | |
| 资料检查任务 | 在檢查任務中,支援自訂配置檢查規則,對資料品質進行定期檢測 定時任務中,支援呼叫資料檢查任務 | |
| 清洗規則 | 支援建立、管理全局清洗規則,包含取代、加解密、公式規則 設定的清洗規則可以在「資料開發」的「值取代」算子中引用 | |
| 維運中心 | 运维中心 | 為不同類型的任務提供獨立的維運介面,使用者可以根據任務類型在相應的介面進行管理和維護 |
| 管理系統 | 權限概述 | 給部門、角色、人員分配功能模組、資料連結的使用、管理、授權權限 |
| 使用者管理 | 管理 FineDataLink 工程中的使用者 | |
| 註冊簡介 | 功能模組、資料源使用前,需要先註冊功能點 | |
| 資料連結 | 在使用 FineDataLink 處理、同步資料前,您需要先定義資料連結,以便在執行資料處理操作時,透過「資料庫>資料連結名稱>資料表」,來確定資料的讀取和寫入位置 | |
2. 模組介紹
2.1 資料開發-定時任務
支援在視覺化介面使用各個節點和算子進行資料的抽取、轉換和裝載,並可以透過排程管理功能自動運作定時任務,幫助您輕鬆構建離線數倉,保證資料生産的高效穩定。

2.2 資料開發-實時任務
注:配置實時任務前,需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。
能夠實時地把資料從 A 點投遞到 B 點。在投遞的程式中可能新增資料清理的工作,例如實時數倉中的資料解析等。最終結果可供後續業務使用,以提高資料利用率和時效性,滿足業務需求。
詳情請參見:實時任務概述
實時同步效果如下圖所示:

2.3 實時管道任務
注:配置實時管道任務前,需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。
1)可實時將大規模資料自動同步到目標表中。

2)效果如下圖所示:
2.4 定時管道任務
當前開發者在對接標準平台時,面臨雲上應用資料源對接不準確、效率低、維運成本高的問題。希望提供一種快速、精準、低維運的對接方案,簡化開發流程,提升對接效率。

定時管道任務支援讀取應用系統(雲端)資料源,將資料定時同步到目標表中。

2.5 資料服務
資料服務功能支援發布兩種類型的API:資料查詢API、資料接收API。
詳情請參見:資料服務功能概述
| 差別項 | 資料查詢API | 資料接收API |
|---|---|---|
| 應用場景 | 提供資料共享能力,可以將加工、融合後的資料庫資料封閉性發布為規範化 API API資料,供外部系統呼叫,實現資料價值匯出及共享開放
| 資料接收API可接收上遊下發和簡道雲推播的資料,解析後寫入資料庫
|
| 特點 | 呼叫API後:對外提供資料 | 呼叫API後:
|
2.6 維運中心
FineDataLink 為不同類型的任務提供獨立的維運介面,使用者可以根據任務類型在相應的介面進行管理和維護,同時,對於相同類型的任務,我們提供多維度的維運監視,確定您能夠全面掌握任務的運作狀態和效能指標。
詳情請參見:运维中心概述

2.7 資料管理
詳情請參見:資料管理概述

2.8 管理系統
詳情請參見:管理系统简介
3. 文檔內容調研
為了給您提供更方便高效的說明文檔,我們誠邀您參與此次問卷調研,參與到幫助中心的建設中來。
您的建議和意見將成為我們努力和改進的方向。我們將為您在問卷中提供的資訊保密。
