產品註冊版本為「v5.0」時,才能使用資料開發-實時任務:
交握技術支援: 帆軟官方服務渠道使用説明
希望讀取實時輸入源後,跨資料庫表聯動後實時入庫。
維度表的變化不會實時改變目標表的資料,只有當實時資料源中的表發生變化並且聯動最新維度表資料後才能更新
若聯動資料為多個實時資料源和 N 個維度表:
需要配置 Flink 引擎
實時資料源必須是左表
若聯動資料都為實時資料源:
左右兩表的資料變化都會更新到目標表中
建立並管理資料源之後即可選擇對應資料連結
支援的資料源:定時任務支援的資料源範圍(基礎資料源+進階資料源-大數據)
SQL、選表的使用與定時任務中相同,詳情請參見:配置方式
主鍵用於標識表中資料的唯一性,準確處理資料更新和刪除操作
1)當來源表有物理主鍵時,預設勾選來源表的物理主鍵,且不可修改
2)當來源表無物理主鍵時,為空,且不可修改
5.0.12.4 之前版本:
設定參與預覽的資料計算樣本數量,實際運作時取全量資料計算
5.0.12.4 及之後版本:
「維度表輸入-選表」配置方式下,樣本設定中支援資料過濾
資料過濾
5.0.12.4 及之後版本新增
「樣本設定」沒有範圍,沒有排序,為隨機資料,可能會導致後續單行轉換算子或者 flinksql 算子的預覽無資料,使用者無法除錯,無法獲知資料是否正確,寫的 SQL 是否會報錯
功能簡介:
1)使用者可根據實際情況,篩選需要的資料,進行實時任務的預覽除錯
2)使用說明:
不需要寫「WHERE」關鍵詞
選填,可以為空
支援聯動已選擇表中欄位,未選擇表時無法聯動
不支援寫 limit 語句
只適用於開發時的資料預覽,不適用於實際開發程式
維度表輸入不可以作為獨立的輸入算子進行匯出,維度表輸入後必須接資料聯動算子,且聯動算子必須包含一個實時資料源。
1)資料聯動的前置算子中,預設取前 5000 筆資料進行聯動,導致使用者在「資料聯動」算子中查看聯動效果時,可能出現聯動效果不準確的問題;使用者可在前置算子中修改樣本設定為全量資料。如下圖所示:
任務實際運作時,是會使用全量資料做聯動操作的。
2)各設定項說明如下表所示:
注1:若資料聯動前的輸入算子包含多個實時資料源,需要配置 Flink 引擎
注2:5.0.1.5 及之後版本,實時任務中若使用 WebSocket輸入、MQTT輸入、IBM MQ輸入、Pulsar輸入,不能再使用資料聯動(多個實時資料源進行聯動)。
支援多個實時資料源進行聯動
不支援只有兩個維度表進行聯動
當實時資料源和維度表輸入聯動時,實時資料源必須是左表
連結方式:左連結、右連結、內連結、全外連結,詳情參見:資料聯動功能簡介
當實時資料源和維度表聯動時,只支援左連結、內連結
資料聯動前的輸入算子都為實時資料源時,支援左連結、右連結、內連結、全外連結
右表可以選擇維度表、實時資料源
一個聯動配置中可以設定多聯動欄位
可以選擇任意左表的欄位
注:5.0.1.4 及之後版本,聯動欄位類型(數值、正文、日期時間、布爾)需要保持一致,否則給出報錯提示
5.0.4.2 及之後版本,支援自訂選擇聯動後匯出的欄位;未選擇時,預設匯出所有聯動後的欄位
按照實時資料源的樣本設定和算子配置進行資料預覽
當左表選擇存量+增量同步,右表選擇增量同步時:
左表的資料會聯動不到右表,目標表右表的欄位會為空
只有當右表對應的資料產生變更後,才會聯動上
目標表的資料會沒有資料
只有當左表有資料發生變更後,才會聯動上右表的資料
例如使用者希望實現實時跨資料庫聯動後入庫。
參考 實時任務使用流程,配置資料連結、快取、資料庫環境。
1)進入 FineDataLink 資料平台後,點選「資料開發>實時任務」,建立實時任務。如下圖所示:
2)進入編輯介面後,拖入「維度表輸入」算子,選擇資料源和資料表。如下圖所示:
點選「資料預覽」即可看到取出的資料。如下圖所示:
拖入實時資料源輸入算子,比如 CDC 輸入,選擇資料源和資料表、讀取方式、同步類型。如下圖所示:
注:CDC輸入詳情參見:CDC輸入
新增「資料聯動」算子,設定聯動關係和聯動欄位。如下圖所示:
預覽資料,即可看到聯動後的資料表。如下圖所示:
設定資料實時計算後匯出至指定的資料庫中。如下圖所示:
DB表匯出設定詳情參見:DB表匯出(實時任務)
點選「啟動」,即可啟動實時任務。如下圖所示:
同時在任務管理介面看到任務運作狀態。如下圖所示:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙