1)「維度表輸入」算子中,新增配置方式:SQL、選表
2)「資料聯動」算子中:支援多個實時資料源進行聯動
希望讀取實時輸入源後,跨資料庫表聯動後實時入庫。
維度表的變化不會實時改變目標表的資料,只有當實時資料源中的表發生變化並且聯動最新維度表資料後才能更新
若聯動資料為多個實時資料源和 N 個維度表:
4.2.6.4 及之後版本支援
需要配置 Flink引擎
實時資料源必須是左表
若聯動資料都為實時資料源:
左右兩表的資料變化都會更新到目標表中
建立並管理資料源之後即可選擇對應資料連結
支援的資料源:定時任務支援的資料源範圍(基礎資料源+進階資料源-大數據)
SQL、選表的使用與定時任務中相同,詳情請參見:配置方式
維度表輸入不可以作為獨立的輸入算子進行匯出,維度表輸入後必須接資料聯動算子,且聯動算子必須包含一個實時資料源。
不支援兩個實時資料源進行聯動
不支援兩個維度表輸入進行聯動
只支援實時資料源和 1 個或多個維度表輸入進行聯動
當實時資料源和維度表輸入聯動時,實時資料源必須是左表
當有超過2張表進行聯動時,必須從實時資料源為左表開始聯動其他維度表
連結方式:左連結、右連結、內連結、全外連結,詳情參見:資料聯動功能簡介
當實時資料源和維度表聯動時,只支援左連結、內連結
右表只能是維度表
連結欄位
一個聯動配置中可以設定多聯動欄位
可以選擇任意左表的欄位
如果是實時資料源和維度表輸入進行join,按照實時資料源的樣本設定和算子配置進行資料預覽
注:若資料聯動前的輸入算子包含多個實時資料源,需要配置 Flink引擎
支援多個實時資料源進行聯動
不支援只有兩個維度表進行聯動
資料聯動前的輸入算子都為實時資料源時,支援左連結、右連結、內連結、全外連結
右表可以選擇維度表、實時資料源
按照實時資料源的樣本設定和算子配置進行資料預覽
若左表和右表都為實時資料源,建議同步類型一致;否則:
當左表選擇存量+增量同步,右表選擇增量同步時:
左表的資料會聯動不到右表,目標表右表的欄位會為空
只有當右表對應的資料產生變更後,才會聯動上
目標表的資料會沒有資料
只有當左表有資料發生變更後,才會聯動上右表的資料
例如使用者希望實現實時跨資料庫聯動後入庫。
參考 實時任務使用流程,配置資料連結、快取、資料庫環境。
1)進入 FineDataLink 資料平台後,點選「資料開發>實時任務」,建立實時任務。如下圖所示:
2)進入編輯介面後,拖入「維度表輸入」算子,選擇資料源和資料表。如下圖所示:
點選「資料預覽」即可看到取出的資料。如下圖所示:
拖入實時資料源輸入算子,比如 CDC 輸入,選擇資料源和資料表、讀取方式、同步類型。如下圖所示:
注:CDC輸入詳情參見:CDC输入
新增「資料聯動」算子,設定聯動關係和聯動欄位。如下圖所示:
預覽資料,即可看到聯動後的資料表。如下圖所示:
設定資料實時計算後匯出至指定的資料庫中。如下圖所示:
DB表匯出設定詳情參見:DB表输出(实时任务)
點選「啟動」,即可啟動實時任務。如下圖所示:
同時在任務管理介面看到任務運作狀態。如下圖所示:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙