FineDataLink 主要包含資料開發、資料管道、資料服務、資料管理、管理系統這幾個主要模組。如下圖所示:
FineDataLink 各模組支援的資料源請參見:FineDataLink支援的資料源
支援對單表進行複雜資料處理,定時同步到目標端
來源端表結構變化後,能夠提示來源端資料表的 DDL 變化,並且將變化通知給指定使用者,使用者需手動進行任務調整
資料的增刪改變化不能自動同步到目標端
任務中斷後,下次啟動不支援斷點續傳
支援對單表進行簡單處理,實時同步到目標端
來源端表結構變化後,實時任務報錯
資料的增刪改變化,實時同步到目標端
任務中斷後,若全量同步未完成,會從頭全量同步;若全量同步已完成,會從斷點開始
支援單表、多表、整庫、多對一的實時同步,原表原樣同步
來源端表結構變化後,目標端可以自動同步這些來源端的調整,不需要人為的進行資料表的調整
資料的增刪改變化,自動實時同步到目標端
應用系統雲端資料源的單表、多表定時同步;支援解析主子表
1)來源端表結構變化後,目標端可以自動同步這些來源端的調整,不需要人為的進行資料表的調整
2)源表資料發生增刪改,目標表資料變化邏輯:
如果來源表是全量表,能保證目標表與來源表一緻
如果來源表是增量表:源端軟刪除(標記資料被刪除),且資料刪除後重新記錄了修改時間,能同步到目標表;否則,無法同步到目標表;更新資料同理
3)任務中斷後,下次啟動從斷點所在批次續傳
將資料庫資料,發布為一個API,呼叫該API後,可查詢資料庫數據
發布一個API,接收上遊下發和簡道雲推播的資料,解析後寫入資料庫
對於支援 SQL 語句的資料庫,支援使用者寫 SQL 進行查詢、修改表
可查看表資料、表結構、修改表名稱/描述、清空表、刪除表、複列表等
在檢查任務中,支援自訂配置檢查規則,對資料品質進行定期檢測
定時任務中,支援呼叫資料檢查任務
設定的清洗規則可以在「資料開發」的「值取代」算子中引用
支援在視覺化介面使用各個節點和算子進行資料的抽取、轉換和裝載,並可以透過排程管理功能自動運作定時任務,幫助您輕鬆構建離線數倉,保證資料生産的高效穩定。
詳情請參見:定時任務概述、定时任务能力说明
注:配置實時任務前,需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。
能夠實時地把資料從 A 點投遞到 B 點。在投遞的程式中可能新增資料清理的工作,例如實時數倉中的資料解析等。最終結果可供後續業務使用,以提高資料利用率和時效性,滿足業務需求。
詳情請參見:實時任務概述
實時同步效果如下圖所示:
注:配置實時管道任務前,需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。
1)可實時將大規模資料自動同步到目標表中。
2)效果如下圖所示:
當前開發者在對接標準平台時,面臨雲上應用資料源對接不準確、效率低、維運成本高的問題。希望提供一種快速、精準、低維運的對接方案,簡化開發流程,提升對接效率。
定時管道任務支援讀取應用系統(雲端)資料源,將資料定時同步到目標表中。
資料服務功能支援發布兩種類型的API:資料查詢API、資料接收API。
詳情請參見:資料服務功能概述
提供資料共享能力,可以將加工、融合後的資料庫資料封閉性發布為規範化 API API資料,供外部系統呼叫,實現資料價值匯出及共享開放
資料接收API可接收上遊下發和簡道雲推播的資料,解析後寫入資料庫
呼叫API後:
接收外部資料,解析後入庫
支援實時接收簡道雲表單資料
FineDataLink 為不同類型的任務提供獨立的維運介面,使用者可以根據任務類型在相應的介面進行管理和維護,同時,對於相同類型的任務,我們提供多維度的維運監視,確定您能夠全面掌握任務的運作狀態和效能指標。
詳情請參見:运维中心概述
詳情請參見:資料管理概述
詳情請參見:管理系统简介
為了給您提供更方便高效的說明文檔,我們誠邀您參與此次問卷調研,參與到幫助中心的建設中來。
您的建議和意見將成為我們努力和改進的方向。我們將為您在問卷中提供的資訊保密。
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙