注:資料開發中實時任務當前屬於內測階段,如需試用或者瞭解詳細資訊,請交握技術支援(技術支援交握方式:前往「服務」,選擇「線上支援」、電話「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能變動 |
---|---|
4.1.11.4 | - |
4.1.13.2 | 新增「IBM MQ輸入」算子、「MQTT輸入」算子 |
1.2 應用場景
企業在構建數倉時,需要對接實時資料源,比如 kafka,需要能夠從 kafka 中讀取資料實時同步到數倉中;
並且實時數倉構建程式中,需要將中間層的資料結果匯出到 kafka,用來給下一層資料結果的計算。
這些資料大多都是半結構化 json 格式的資料,需要解析轉換為結構化資料後入庫;或者將結構化資料序列化成 json 格式後put 命令至 kafka。
2. 功能說明
實時任務能夠實時地把資料從 A 點投遞到 B 點。在投遞的程式中可能新增資料清理的工作,例如實時數倉中的資料解析等。最終結果可供後續業務使用,以提高資料利用率和時效性,滿足業務需求。
2.1 節點介紹
FineDataLink 實時任務開發模組提供多種類型的節點,多種節點配合使用,滿足您不同的資料處理需求。
節點是組成實時任務的基本單位,多個節點透過線條連結後可確定執行流程,進而組成一個完整的實時任務。目前有如下節點:
分類 | 算子 | 說明 |
---|---|---|
資料輸入 | Kafka輸入 | 支援使用 Kafka 輸入算子實時讀取資料 |
CDC輸入 | 支援使用 CDC 輸入算子實時讀取資料 | |
Pulsar輸入 | 支援使用 Pulsar 輸入算子實時讀取資料 | |
MQTT輸入 | 支援使用 MQTT輸入算子實時讀取資料 | |
IBM MQ輸入 | 支援使用 IBM MQ 輸入算子實時讀取資料 | |
資料匯出 | DB表匯出(實時任務) | 支援使用 DB表匯出算子實時將資料匯出至指定資料庫中 |
Kafka匯出 | 支援使用 Kafka 匯出算子將資料實時同步匯出至 Kafka | |
轉換 | JSON解析 | 解析 JSON 結構的資料,匯出行列格式的資料 |
XML解析 | 將 XML 格式資料解析為行列格式資料 | |
欄位設定 | 可實現資料流欄位的選擇、重新命名、資料類型轉換操作 | |
新增計算列 | 在不影響原有欄位的情況下,可利用原有欄位透過引用或計算獲得一個新的欄位 | |
資料過濾 | 過濾符合條件的資料記錄 | |
欄位拆列 | 欄位值按照特定規則(分隔符或字元數)拆分,拆分後的結果形成新的多欄欄位和值 | |
欄位拆行 | 欄位值按照特定規則(分隔符)拆分,拆分後的結果形成新的一欄欄位和值 | |
其他 | 備註說明 | 可幫助使用者為任務、節點增加備註 |
2.2 操作流程
順序 | 說明 | 文檔 |
---|---|---|
1 | 配置實時任務設計時,資料讀取和資料寫入的資料源 | 建立並管理資料源 |
2 | 讀取資料源需要開啟日誌 | 資料庫環境準備概述 |
3 | 建立實時任務,並進行實時任務的開發 | 參考各節點功能文檔 |
4 | 啟動任務 | - |
5 | 對已經設定的定時任務進行任務管理和資源控制 | 單個實時任務管理 |