資料管道-同步源表結構變化

  • 文檔創建者:Roxy
  • 編輯次數:52
  • 最近更新:shuning 于 2026-07-15
  • 1. 概述

    1.1 版本

     FineDataLink 版本
    功能變動
    4.0.17支援Mysql 設定同步源表結構變化
    4.2.19.3TCHouse-P 作為實時管道的目標端時,支援同步源表結構變化功能
    4.2.20.2

    GaussDB 100/GaussDB T作為實時管道的來源端時,支援同步源表結構變化功能 

    OceanBase(MySQL模式)、OceanBase(Oracle模式)作為實時管道的來源端時,支援同步源表結構變化功能 


    1.2 歷史版本更新

    FineDataLink 版本功能變動
    4.0.20.1支援SQL Server、Oracle 、GaussDB 200、PostgreSQL、Greenplum、Greenplum(並行裝載)作為目標端設定同步源表結構變化
    4.0.21Oracle資料源作為來源端,適配同步源表結構變化
    4.0.27交互體驗優化
    4.0.28支援TiDB、Amazon Redshift、SeaboxMPP 作為目標端的DDL
    4.0.29支援 PostgreSQL 作為來源端的 DDL
    4.1.1支援 SQL Server 作為來源端的 DDL,DDL 邏輯詳情參見本文3.3 節表格,且目前 DDL 同步不支援自動同步源端新增欄位,若需要使用 DDL 進行新增欄位的處理,請參見資料管道中SQL Server DDL操作說明
    4.1.5.4若開啟 DDL,源表欄位注釋的變化(增刪改)會同步到目標表中。但新增欄位的注釋不會同步過去
    4.1.8.2資料管道支援寫入神通資料庫,該資料庫支援DDL
    4.1.9.3
    • 支援使用者自訂欄位類型映射規則,並配置生效的資料連結。

    • 「自動建表欄位類型映射」、「管道DDL」、「定時任務來源欄位變化感知」時,資料連結的自訂映射規則將優先於預設映射規則生效。

    詳情參見:通用配置-欄位映射規則

    4.1.10.1StarRocks、Doris作為目標端時,支援 DDL
    4.1.11.2YMatrix 作為目標端時,支援 DDL
    4.1.11.3PolarDB PostgreSQL 作為目標端時,支援 DDL
    4.2.6.1AnalyticDB for MySQL 作為目標端時,支援 DDL
    4.2.7.2GaussDB 100/GaussDB T 作為目標端時,支援 DDL
    4.2.8.2KingBaseES(MySQL模式)作為來源端時,支援 DDL

    KingBaseES(SqlServer模式)作為來源端時,支援 DDL

    4.2.17.4達夢作為實時管道來源端時,支援DDL
    4.2.8.5

    KingBaseES(MySQL模式)作為目標端時,支援 DDL

    KingBaseES(SqlServer模式)作為目標端時,支援 DDL

    4.2.11.3「同步源表結構變化」按鈕位置改變
    4.2.17.2VastbaseG100(MySQL模式) 、VastbaseG100(Oracle模式)作為目標端時,支援DDL
    4.2.19.1

    人大金倉KingBaseES(MySQL模式)資料源人大金倉KingBaseES(Oracle模式)資料源KingBaseES(SqlServer模式)資料源

    PostgreSQL 作為實時管道、實時任務來源端時,同步源表結構變化功能由資料連結配置項中的「採集DDL事件配置」按鈕控制

    雲資料庫 GaussDB作為實時管道來源端時,支援同步源表結構變化按鈕 


    1.3 應用場景

    在使用管道任務進行資料實時同步程式中,來源端結構可能因業務調整等原因發生變動,如增刪表、增刪欄位、修改欄位名稱、修改欄位類型等,此時,使用者希望目標端可以自動同步這些來源端的調整,不需要人為地進行資料表的調整。

    1.4 功能說明

    資料管道任務支援同步源庫DDL功能,開啟相關選項後,在源庫發生DDL(刪除表、新增欄位、刪除欄位、修改欄位名稱、修改欄位類型(長度修改 & 相容類型修改))時,管道任務可以自動同步這些來源端變化至目標端,不需人為介入修改目標表結構。

    2026-07-15_15-26-37.png

    2. 支援範圍

    管道任務的來源端和目標端,在下表中都為支援,才能正常使用 DDL 功能。

    例如:管道任務來源端為 MySQL,目標端為 SQL Server ,支援使用 DDL 功能;來源端為 MySQL,目標端為 DB2 ,不支援使用 DDL 功能。

    資料源
    作為來源端作為目標端備註
    MySQL 支援支援
    Oracle 支援
    支援
    SQL Server 



    支援由於 SQL Server 資料庫本身特性,目前 DDL 同步不支援自動同步源端新增欄位,若需要使用 DDL 進行新增欄位的處理,請參見本文第四章
    GaussDB 200 不支援支援
    GaussDB 100/GaussDB T支援支援
    PostgreSQL 支援支援
    Greenplum 包括並行裝載不支援支援


    kafka不支援不支援(目標端暫不支援kafka)
    TiDB不支援支援
    Amazon Redshift不支援支援
    DB2支援不支援
    SeaboxMPP不支援支援
    SAP HANA不支援不支援
    神通資料庫不支援支援
    StarRocks不支援支援源端修改列類型,StarRocks 和 Doris 存在限制,詳情請參見:StarRocks資料源使用說明Doris資料源使用說明
    Doris不支援支援
    YMatrix不支援支援
    PolarDB PostgreSQL不支援支援
    AnalyticDB MySQL不支援支援
    VastbaseG100(MySQL模式)不支援
    支援
    VastbaseG100(Oracle模式) 不支援支援
    達夢支援支援
    雲資料庫 GaussDB支援不支援
    TCHouse-P不支援支援
    OceanBase(MySQL模式)支援支援
    OceanBase(Oracle模式)支援支援

    人大金倉KingBaseES(MySQL模式)資料源人大金倉KingBaseES(Oracle模式)資料源KingBaseES(SqlServer模式)資料源

    PostgreSQL 作為實時管道、實時任務來源端時,同步源表結構變化功能由資料連結配置項中的「採集DDL事件配置」按鈕控制 。

    注:該按鈕調整後,需重啟(暫停再啟動)對應採集任務 。

    2026-07-15_15-06-23.png

    若該按鈕關閉,實時管道任務中「同步源表結構變化」按鈕灰化 。

    1780488952471348_fixed.png

    3. 功能說明

    操作「開啟」同步原表結構變化欄位映射配置變化目標表變化目標表資料變化
    刪除表繼續同步其他表。

    標記被刪除的同步表。

    該表對應源表已被刪除,該表將不會繼續同步。

    無變化。被刪除表在後續同步中將沒有新資料寫入。

    重新命名表


    繼續同步其他表。

    注:PostgreSQL 作為來源端,不支援重新命名表。


    標記原名稱表為刪除。

    該表對應源表已被刪除,該表將不會繼續同步。

    無變化。

    原名稱表在後續同步中將沒有新資料寫入。


    刪除欄位

    繼續同步其他欄位。



    標記被刪除的欄位。

    對應源欄位已被刪除,該欄位在後續同步中將傳NULL值。

    無變化。

    被刪除欄位在後續同步中傳NULL值。

    對於 SQLServer 資料源作為來源端,在檢查到欄位刪除的時刻(每次查詢都會比對表結構檢查),FDL 就會當做欄位已經刪除。

    此時 CDC 表中可能還存在一部分資料帶有這個欄位,此時該欄位的值將不會同步到目標表中。

    新增欄位

    自動同步新增欄位。

    同步失敗時,記錄日誌且傳送通知,任務正常運作。

    對於 SQLServer 資料源作為來源端,目前DDL同步不支援自動同步源端新增欄位,若需要進行新增欄位 DDL ,需要對資料庫進行操作,詳情參見 定時任務維運-運作監視


    自動在來源端和目標端新增新的映射關系。

    同步新增欄位。

    新增的這個欄位不標記物理主鍵或邏輯主鍵

    同步新增欄位的後續新增資料。


    修改欄位名稱

    原名稱欄位刪除,新名稱欄位新增。

    對於 SQLServer 、DB2資料源作為來源端,不支援修改欄位名稱。

    標記原名稱欄位刪除。

    自動在來源端和目標端新增新名稱欄位的映射關系。

    同步新增新名稱欄位。

    原名稱欄位在後續同步中傳NULL值。

    同步新名稱欄位的後續新增資料。

    修改欄位類型或者長度

    自動同步修改欄位類型,修改不成功時,記錄日誌,任務繼續運作。修改時的欄位映射邏輯和自動建表時一緻。

    來源表與目標表欄位配置自動修改欄位類型。同步修改欄位類型。曆史資料與後續新增資料變化為對應類型資料。
    源表欄位注釋的變化(增刪改)

    同步到目標表

    新增欄位的注釋不會同步過去

    ---

    開啟「同步源表結構變化」按鈕後,「運作日誌」介面會出現 DDL 的更改日誌。如下圖所示:

    1717555923740648_fixed (2).png


    附件列表


    主題: 實時管道
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    中文(繁體)

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙