資料同步概述

  • 文檔創建者:Wendy123456
  • 編輯次數:80
  • 最近更新:Nikozhan 于 2025-06-16
  • 1. 概述

    1.1 應用場景

    使用者同步資料時,在以下場景中,可使用「資料同步」節點實現:

    • 資料無需進行復雜的資料處理,希望快速完成資料表的同步。

    • 目標庫計算能力較強的場景/資料量非常大的場景中(單表資料量超過 1kw 時),將資料表從來源端同步到目標端。

    1.2 功能簡介

    1)對接多種資料源

    可將資料從任意終端到任意終端。詳情請參見:任意終端到任意終端

    例如:可將簡道雲資料同步到資料庫中;資料庫資料儲存為檔案資料等。

    2)快速實現資料表的同步

    透過「設定需要抽取的資料」>「設定資料去向及欄位映射」>「設定資料寫入方式」將來源端資料直接抽取並寫入目標資料庫中。

    功能
    描述
    資料來源設定源表,從哪個資料庫的哪張表抽取資料,可寫 SQL 語句;4.1.3 及之後版本,支援傳回儲存程式結果集作為表輸入
    資料去向與映射設定目標表,抽取的資料儲存到哪個資料庫的哪張表下,可存放到已有的表,也支援自動建立一個表;設定源表跟目標表之間的欄位映射關係,支援手動調整映射關係
    寫入方式有三種寫入方式:追加寫入資料清空目標表,再寫入資料基於標識欄位,追加/更新/刪除資料

    2. 前提條件

    3. 使用限制

    • 支援結構化、半結構化、無結構化(OSS、TXT等,要求具體同步資料必須抽象為結構化資料)資料的同步。即僅支援傳輸能夠抽象為邏輯二維表的資料同步,不支援同步OSS中存放完全非結構化的資料(例如一段MP3)。

    • 「資料同步」節點實現的是資料的定時同步,若需要資料的實時同步,詳情請參見:資料管道概述

    • 支援透過設定「寫入方式+依賴主鍵+更新策略」來保證同步後資料不重複。詳情可參見:数据同步方案概述

    • 不同資料源對資料開發功能的支援不同,詳情請參見:定时任务数据源功能限制说明

    4. 功能概述

    「資料同步」節點可以將資料從來源端抽取到目標端,且進行簡單的資料處理。設定介面如下圖所示:

    注:若使用者想要同步的資料需要進行一些複雜资料清理處理,建議使用 数据转换概述

    步驟說明
    步驟一:設定資料來源(必做)

    1)目前支援關係型數據、非關係型資料、API資料、檔案資料等 30 多種資料源之間的資料同步,透過定義「資料來源」和「資料去向」實現任意結構化、半結構化資料之間的資料傳

    支援的資料源詳情請參見:資料開發支援的資料源

    2)資料來源Tab 頁,各設定項說明請參見:数据同步-数据来源

    步驟二:設定資料去向與映射(必做)

    各設定項說明請參見:数据同步-数据去向与映射

    注意點:

    4.0.18 版本移除了「比對欄位」和「更新策略」,透過「数据比对功能说明」+「DB表输出」的組合方式,可完成增量插入、刪除、更新的操作。4.0.18 之前版本使用者請查看 歷史版本

    步驟三:設定寫入方式(必做)各設定項說明請參見:数据同步-写入方式

    5. 不同場景中使用說明

    4.0.28 及之後版本,若使用者為以下場景時(來源表和目標表都不是簡道雲資料):

    • 沒有標識欄位,希望將篩選出的資料,做追加或者更新或者刪除操作(無標識欄位時僅允許選擇一種操作類型)。

    • 資料已經有了標識欄位和標識值,需要對資料進行追加/更新/刪除操作。

    可透過「資料同步」節點實現,詳情請參見:数据同步-基于标识字段,新增/修改/删除数据

    應用場景
    具體介紹參考文檔
    簡單資料同步只使用資料同步節點,對接各種資料源,完成資料同步

    数据同步-数据库表

    資料同步-API

    資料同步-伺服器資料集

    数据同步-简道云数据

    資料的增量同步與參數配合使用,實現資料的增量同步
    数据增量更新同步
    資料同步前/後進行判斷

    不同條件,執行不同的資料同步節點;需要與參數指派節點、條件分支節點配合使用

    使用条件分支获取优秀员工信息

    FR填报补录数据后,触发FDL任务更新

    可與 连线执行判断 功能配合使用,根據資料同步節點執行情況(失敗、成功、無條件),判斷執行哪個下游節點
    数据抽取失败后进行数据回滚
    資料匯出至 FineBI將資料匯出至 FineBI独立部署下定时任务结果输出至FineBI


    附件列表


    主題: 資料開發-定時任務
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!