維度表輸入&資料聯動

  • 文檔創建者:Laurenwy
  • 編輯次數:3
  • 最近更新:shuning 于 2026-07-14

  • icon提示:

    產品註冊版本為「v5.0」時,才能使用資料開發-實時任務:

    交握技術支援: 帆軟官方服務渠道使用説明

    1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    5.0.0.1-
    5.0.1.4聯動欄位類型(數值、正文、日期時間、布爾)需要保持一致
    5.0.1.5實時任務中若使用 WebSocket輸入MQTT輸入IBM MQ輸入Pulsar輸入,不能再使用資料聯動(多個實時資料源進行聯動)
    5.0.4.2
    資料聯動算子中,支援自訂選擇聯動後匯出的欄位
    5.0.6.3「維度表輸入算子中,支援設定主鍵
    5.0.12.4維度表輸入-選表配置方式下,樣本設定中支援資料過濾

    1.2 應用場景

    希望讀取實時輸入源後,跨資料庫表聯動後實時入庫。

    1.3 功能簡介

    場景
    說明備註
    使用多個或一個「維度表輸入」算子與一個「實時資料源」聯動後實時落庫

    維度表的變化不會實時改變目標表的資料,只有當實時資料源中的表發生變化並且聯動最新維度表資料後才能更

    實時資料源必須是左表
    個實時資料源進行聯動


    若聯動資料為多個實時資料源和 N 個維度表:

    維度表的變化不會實時改變目標表的資料,只有當實時資料源中的表發生變化並且聯動最新維度表資料後才能更新

    需要配置 Flink 引擎

    實時資料源必須是左表

    若聯動資料都為實時資料源:

    左右兩表的資料變化都會更新到目標表中

    2. 功能說明

    2.1 維度表輸入

    1748934660Xxuk.png

    配置項說明
    資料連結

    建立並管理資料源之後即可選擇對應資料連結

    支援的資料源:定時任務支援的資料源範圍(基礎資料源+進階資料源-大數據)

    配置方式支援 SQL、選表兩種方

    SQL、選表的使用與定時任務中相同,詳情請參見:配置方式

    主鍵

    主鍵用於標識表中資料的唯一性,準確處理資料更新和刪除操作

    1)來源表有物理主鍵時,預設勾選來源表的物理主鍵,且不可修改

    2)當來源表無物理主鍵時,為空,且不可修改

    樣本設定

    5.0.12.4 之前版本:

    設定參與預覽的資料計算樣本數量,實際運作時取全量資料計算

     1782266223247525_fixed.png

    5.0.12.4 及之後版本:

    維度表輸入-選表配置方式下,樣本設定中支援資料過濾

    2026-07-14_15-27-53.png

    設定項
    說明

    資料過濾

    5.0.12.4 及之後版本新增

    應用場景:

     「樣本設定」沒有範圍,沒有排序,為隨機資料,可能會導致後續單行轉換算子或者 flinksql 算子的預覽無資料,使用者無法除錯,無法獲知資料是否正確,寫的 SQL 是否會報錯

    功能簡介:

    1)使用者可根據實際情況,篩選需要的資料,進行實時任務的預覽除錯


    2)使用說明:

    • 不需要寫「WHERE」關鍵詞

    • 選填,可以為空

    • 支援聯動已選擇表中欄位,未選擇表時無法聯動

    • 不支援寫 limit 語句

    • 只適用於開發時的資料預覽,不適用於實際開發程式


    維度表輸入不可以作為獨立的輸入算子進行匯出,維度表輸入後必須接資料聯動算子且聯動算子必須包含一個實時資料源

    2.2 資料聯動

    2026-07-14_15-49-09.png

    1)資料聯動的前置算子中,預設取前 5000 筆資料進行聯動,導致使用者在「資料聯動」算子中查看聯動效果時,可能出現聯動效果不準確的問題;使用者可在前置算子中修改樣本設定為全量資料。如下圖所示:

    任務實際運作時,是會使用全量資料做聯動操作的。

    2026-07-14_16-02-10.png

    2)各設定項說明如下表所示:

    注1:若資料聯動前的輸入算子包含多個實時資料源,需要配置 Flink 引擎

    注2:5.0.1.5 及之後版本,實時任務中若使用 WebSocket輸入MQTT輸入IBM MQ輸入Pulsar輸入,不能再使用資料聯動(多個實時資料源進行聯動)。

    配置項說明
    連結邏輯
    • 支援多個實時資料源進行聯動

    • 不支援只有兩個維度表進行聯動

    左表

    當實時資料源和維度表輸入聯動時,實時資料源必須是左表

    連結方式

    連結方式:左連結、右連結、內連結、全外連結,詳情參見:資料聯動功能簡介

    • 當實時資料源和維度表聯動時,只支援左連結、內連結

    • 資料聯動前的輸入算子都為實時資料源時,支援左連結、右連結、內連結、全外連結

    右表

    右表可以選擇維度表、實時資料源

    連結欄位
    • 一個聯動配置中可以設定多聯動欄位

    • 可以選擇任意左表的欄位

    注:5.0.1.4 及之後版本,聯動欄位類型(數值、正文、日期時間、布爾)需要保持一致,否則給出報錯提示

    進階配置

    5.0.4.2 及之後版本,支援自訂選擇聯動後匯出的欄位;未選擇時,預設匯出所有聯動後的欄位

    2026-07-14_15-49-09.png

    資料預覽

    按照實時資料源的樣本設定和算子配置進行資料預覽

    若左表和右表都為實時資料源,建議同步類型一致;否則:
    場景

    當左表選擇存量+增量同步,右表選擇增量同步時:

    • 左表的資料會聯動不到右表,目標表右表的欄位會為空

    • 只有當右表對應的資料產生變更後,才會聯動上

    當左表選擇增量同步,右表選擇存量+增量同步時:
    • 目標表的資料會沒有資料

    • 只有當左表有資料發生變更後,才會聯動上右表的資料

    3. 操作步驟

    例如使用者希望實現實時跨資料庫聯動後入庫。

    3.1 準備工作

    參考 實時任務使用流程,配置資料連結、快取、資料庫環境。

    3.2 設定維度表輸入

    1)進入 FineDataLink 資料平台後,點選「資料開發>實時任務」,建立實時任務。如下圖所示:

    2026-07-14_16-06-10.png

    2)進入編輯介面後,拖入「維度表輸入」算子,選擇資料源和資料表。如下圖所示:

    2026-07-14_16-20-13.png


    點選「資料預覽」即可看到取出的資料。如下圖所示:

    2026-07-14_16-24-02.png

    3.3 設定實時資料源輸入

    拖入實時資料源輸入算子,比如 CDC 輸入,選擇資料源和資料表、讀取方式、同步類型。如下圖所示:

    注:CDC輸入詳情參見:CDC輸入

    2026-07-14_16-26-59.png

    3.4 資料聯動

    新增「資料聯動」算子,設定聯動關係和聯動欄位。如下圖所示:

    2026-07-14_15-49-09.png

    預覽資料,即可看到聯動後的資料表。如下圖所示:

    2026-07-14_16-37-46_fixed.png

    3.5 資料匯出

    設定資料實時計算後匯出至指定的資料庫中。如下圖所示:

    DB表匯出設定詳情參見:DB表匯出(實時任務)

    2026-07-14_16-49-22.png

    3.6 任務啟動和管理

    點選「啟動」,即可啟動實時任務。如下圖所示:

    2026-07-14_17-04-25.png

    同時在任務管理介面看到任務運作狀態。如下圖所示:

    1748935713SHiJ.png

    附件列表


    主題: 資料開發-實時任務
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    中文(繁體)

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙