FineDataLink模組介紹

  • 文檔創建者:Wendy123456
  • 編輯次數:7
  • 最近更新:Nikozhan 于 2026-01-22
  • 1. 概述

    FineDataLink 主要包含資料開發、資料管道、資料服務、資料管理、管理系統這幾個主要模組。如下圖所示:

    FineDataLink 各模組支援的資料源請參見:FineDataLink支援的資料源

    模組
    說明
    資料開發定時任務

    12.png

    支援對單表進行複雜資料處理定時同步到目標端

    • 來源端表結構變化後,能夠提示來源端資料表的 DDL 變化,並且將變化通知給指定使用者,使用者需手動進行任務調整

    • 資料的增刪改變化不能自動同步到目標端

    • 任務中斷後,下次啟動不支援斷點續傳

    實時任務

    支援對單表進行簡單處理實時同步到目標

    • 來源端表結構變化後,實時任務報錯

    • 資料的增刪改變化,實時同步到目標端

    • 任務中斷後,若全量同步未完成,會從頭全量同步;若全量同步已完成,會從斷點開始

    資料管道實時管道任務

    支援單表、多表、整庫、多對一實時同步原表原樣同

    • 來源端表結構變化後,目標端可以自動同步這些來源端的調整,不需要人為的進行資料表的調整

    • 資料的增刪改變化,自動實時同步到目標端

    • 任務中斷後,若全量同步未完成,會從頭全量同步;若全量同步已完成,會從斷點開始

    定時管道任務

    應用系統雲端資料源單表、多表定時同步;支援解析主子表

    1)來源端表結構變化後,目標端可以自動同步這些來源端的調整,不需要人為的進行資料表的調整

    2)源表資料發生增刪改,目標表資料變化邏輯:

    • 如果來源表是全量表,能保證目標表與來源表一緻

    • 如果來源表是增量表:源端軟刪除(標記資料被刪除),且資料刪除後重新記錄了修改時間,能同步到目標表;否則,無法同步到目標表;更新資料同理

    3)任務中斷後,下次啟動從斷點所在批次續傳

    資料服務資料查詢API

    將資料庫資料,發布為一個API,呼叫該API後,可查詢資料庫數


    資料接收API

    發布一個API,接收上遊下發和簡道雲推播的資料,解析後寫入資料庫


    資料管理庫表管理
    • 對於支援 SQL 語句的資料庫,支援使用者寫 SQL 進行查詢、修改表

    • 可查看表資料、表結構、修改表名稱/描述、清空表、刪除表、複列表等

    血緣分析選擇資料連結的某張表後,可查看資料表、API(資料服務)、定時任務節點、管道任務的血緣關系
    资料检查任务

    在檢查任務中,支援自訂配置檢查規則,對資料品質進行定期檢

    定時任務中,支援呼叫資料檢查任務

    清洗規則支援建立、管理全局清洗規則,包含取代、加解密、公式規則

    設定的清洗規則可以在「資料開發」的「值取代」算子中引用

    維運中心运维中心
    為不同類型的任務提供獨立的維運介面,使用者可以根據任務類型在相應的介面進行管理和維護
    管理系統權限概述給部門、角色、人員分配功能模組、資料連結的使用、管理、授權權限
    使用者管理管理 FineDataLink 工程中的使用者
    註冊簡介功能模組、資料源使用前,需要先註冊功能點
    資料連結在使用 FineDataLink 處理、同步資料前,您需要先定義資料連結,以便在執行資料處理操作時,透過「資料庫>資料連結名稱>資料表」,來確定資料的讀取和寫入位置

    2. 模組介紹

    2.1 資料開發-定時任務

    支援在視覺化介面使用各個節點和算子進行資料的抽取、轉換和裝載,並可以透過排程管理功能自動運作定時任務,幫助您輕鬆構建離線數倉,保證資料生産的高效穩定。

    詳情請參見:定時任務概述定时任务能力说明

    2.2 資料開發-實時任務

    注:配置實時任務前,需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。

    能夠實時地把資料從 A 點投遞到 B 點。在投遞的程式中可能新增資料清理的工作,例如實時數倉中的資料解析等。最終結果可供後續業務使用,以提高資料利用率和時效性,滿足業務需求。

    詳情請參見:實時任務概述

    實時同步效果如下圖所示:

    2.3 實時管道任務

    注:配置實時管道任務前,需要準備資料庫環境、安裝 Kafka、配置傳輸佇列。

    1)可實時將大規模資料自動同步到目標表中。

    2)效果如下圖所示:

    2.4 定時管道任務

    當前開發者在對接標準平台時,面臨雲上應用資料源對接不準確、效率低、維運成本高的問題。希望提供一種快速、精準、低維運的對接方案,簡化開發流程,提升對接效率。

    定時管道任務支援讀取應用系統(雲端)資料源,將資料定時同步到目標表中。

    2.5 資料服務

     資料服務功能支援發布兩種類型的API:資料查詢API、資料接收API。

    詳情請參見:資料服務功能概述


    差別項
    資料查詢API資料接收API
    應用場景

    提供資料共享能力,可以將加工、融合後的資料庫資料封閉性發布為規範化 API API資料,供外部系統呼叫,實現資料價值匯出及共享開放

    25.png

    資料接收API可接收上遊下發和簡道雲推播的資料,解析後寫入資料庫

    26.png

    特點呼叫API後:對外提供資料

    呼叫API後:

    • 接收外部資料,解析後入庫

    • 支援實時接收簡道雲表單資料


    2.6 維運中心

    FineDataLink 為不同類型的任務提供獨立的維運介面,使用者可以根據任務類型在相應的介面進行管理和維護,同時,對於相同類型的任務,我們提供多維度的維運監視,確定您能夠全面掌握任務的運作狀態和效能指標。

    詳情請參見:运维中心概述

    2.7 資料管理

    詳情請參見:資料管理概述

    2.8 管理系統

    詳情請參見:管理系统简介

    3. 文檔內容調研

    為了給您提供更方便高效的說明文檔,我們誠邀您參與此次問卷調研,參與到幫助中心的建設中來。

    您的建議和意見將成為我們努力和改進的方向。我們將為您在問卷中提供的資訊保密。

    問卷連結:FineDataLink文檔內容調研


    附件列表


    主題: 快速入門
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙