DB表匯出(實時任務)

  • 文檔創建者:Roxy
  • 編輯次數:5
  • 最近更新:帆软用户UT9OHLQhgP 于 2026-09-22
  • icon提示:

    產品註冊版本為「v5.0」時,才能使用資料開發-實時任務。

    1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    5.0.0.1-
    5.0.0.4當前任務中,存在產生更新流的算子時,「DB表匯出」算子中不支援無主鍵同步;會產生更新流的算子:CDC輸入、分組匯總、資料聯動(多個實時資料源進行聯動)

    1.2 應用場景

    使用者需要將資料實時匯出至指定資料庫中,便於使用資料進行報表和實時企業戰情室製作和展示。

    1.3 功能簡介

    FineDataLink 「實時任務」支援使用 DB表匯出算子實時將資料匯出至指定資料庫中。

    1.4 支援使用的資料源

    MySQL、Oracle、PostgreSQL、SAP HANA、SQL Server、達夢、GreenPlum、Doris、StarRocks、GaussDB 200、Clickhouse、TiDB、Amazon Redshift。

    注:與資料管道任務目標端支援的資料庫相同。

    注:4.2.1.4 之前的版本只能同步到 Doris 的主鍵模型、Clickhouse 的 CollapsingMergeTree 中;4.2.1.4 及之後的版本支援帶主鍵匯出,能使用歷史已經建好的表(明細模型或者mergeTree);同時針對 CDC 等資料源,可按照某一個業務欄位當做主鍵,更新目標表的資料。詳情參見:Doris資料源特性說明、StarRocks資料源特性說明、clickhouse数据源使用说明

    2. 功能說明

    配置項
    說明
    資料源

    選擇相應資料庫的資料連結

    模式選擇資料庫
    目標表

    選擇資料寫入的資料庫表

    • 支援選擇自動建表

    • 支援配置表描述

    • 支援手動建表

    欄位映射

    與定時任務的DB表匯出一致

    • 已存在表:直接根據該表的主鍵勾選「主鍵」欄,並且使用者不能再調整「主鍵」

    • 自動建表:按照目標表的特性配置建表時的主鍵

    寫入方式

    寫入方式:

    1)直接將資料寫入目標表(僅支援這一種)

    2)支援選擇邏輯刪除

    3)支援標記時間戳(4.2.1.4 及之後的版本支援)

    4)主鍵映射(4.2.1.4 及之後的版本支援)

    「標記時間戳」按鈕開啟時:

    • 在目標表追加/使用時間戳欄位,記錄資料實際寫入到資料庫的時間

    • 欄位名為「_fdl_update_timestamp」,與資料管道保持一致

    主鍵映射說明:

    1)可選擇欄位作為邏輯主鍵映射確定資料唯一性:

    • 當目標表有物理主鍵時,直接使用配置好的物理主鍵進行映射,不支援自訂

    • 當目標表無物理主鍵時,從配置的欄位映射中,選擇一個或多個欄位映射列作為邏輯主鍵映射

    2)目標端為 Doris、StarRocks、ClickHouse時,特定場景中可以不配置主鍵映射;但如果當前任務中存在產生更新流的算子時,不支援無主鍵同步;會產生更新流的算子:CDC輸入、分組匯總、資料聯動(多個實時資料源進行聯動)



    附件列表


    主題: 資料開發-實時任務
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    中文(繁體)

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙