產品註冊版本為「v5.0」時,才能使用資料開發-實時任務:
1) 如需申請免費試用或增購功能點,請聯絡技術支援
2) 如需瞭解更多實時任務詳細資訊,可聯絡技術支援(技術支援交握方式:帆軟官方服務渠道使用説明)。
使用者需要實時讀取 MQTT 中的資料,將資料解析後,寫入指定資料庫中,並使用資料進行報表和實時企業戰情室製作和展示。
FineDataLink 的「資料開發-實時任務」支援使用「MQTT輸入」算子實時讀取資料。
5.0.1.5 及之後版本,實時任務中若使用 MQTT 輸入節點,不能再使用 分組匯總(實時任務)、Flink SQL、資料聯動(多個實時資料源進行聯動)
「MQTT輸入」算子設定介面如下圖所示:
各設定項說明如下:
5.0.1.4 及之後版本,Topic 中適配通配符:+ 和 #
test/1/data
test/abc/data
test/1/abc/data
test/data
詳情可自行百度搜尋
配置讀取 MQTT 訊息中哪些資訊傳輸給下游算子,可選擇「訊息內容」、「主題」
1)主題(topic):訊息的 topic 名稱
2)訊息內容(payload):訊息的實際內容
對於不同資料格式的 value(json、鍵值對、Avro等),統一都轉換為正文格式
可後接轉換算子進行解析
因為 MQTT 輸入只支援獲取生成訂閱後的訊息,所以進行普通的取樣,比如去取 mqtt broker中獲取已有的資料,這個是無法實現的,並且考慮到 topic 中不一定有「保留訊息」,所以「MQTT輸入」算子的樣本設定中提供兩種方式:「手動配置」、「獲取保留訊息」,預設為「獲取保留訊息」
1)「獲取保留訊息」:資料預覽時,建立一個不影響運作時邏輯的 client 訂閱 topic ,如果 topic 中有保留訊息時,則可以獲取一筆資料
2)「手動配置」:支援新增多條取樣資料,如下圖所示:
如果獲取保留訊息時,topic 中沒有保留訊息,則只生成表結構,沒有資料行
1)登入 FDL 工程,點選「資料開發>實時任務>建立」,建立實時任務。如下圖所示:
自訂位置和名稱後,點選「確定」按鈕進入實時任務設計頁面。如下圖所示:
2)拖入「MQTT輸入」算子,選擇資料源,設定 Topic 和匯出欄位。如下圖所示:
點選「資料預覽」,如下圖所示:
取出的資料為 JSON 格式資料。
1)拖入「JSON解析」算子,解析 3.1 節取出的資料。如下圖所示:
2)點選「資料預覽」,如下圖所示:
拖入「DB表匯出」算子,將資料匯出至指定的資料庫中。如下圖所示:
DB表匯出設定詳情參見:DB表匯出(實時任務)
寫入方式預設即可。
點選啟動,即可啟動實時任務,如下圖所示:
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙