實時任務概述

  • 文档创建者:Roxy
  • 历史版本:9
  • 最近更新:Nikozhan 于 2025-04-14
  • 注:資料開發中實時任務當前屬於內測階段,如需試用或者瞭解詳細資訊,請交握技術支援(技術支援交握方式:前往「服務」,選擇「線上支援」、電話「400-811-8890」)。

    1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    4.1.11.4-
    4.1.13.2新增「IBM MQ輸入算子、「MQTT輸入算子

    1.2 應用場景

    企業在構建數倉時,需要對接實時資料源,比如 kafka,需要能夠從 kafka 中讀取資料實時同步到數倉中;

    並且實時數倉構建程式中,需要將中間層的資料結果匯出到 kafka,用來給下一層資料結果的計算。

    這些資料大多都是半結構化 json 格式的資料,需要解析轉換為結構化資料後入庫;或者將結構化資料序列化成 json 格式後put 命令至 kafka。

    2. 功能說明

    實時任務能夠實時地把資料從 A 點投遞到 B 點。在投遞的程式中可能新增資料清理的工作,例如實時數倉中的資料解析等。最終結果可供後續業務使用,以提高資料利用率和時效性,滿足業務需求。

    2.1 節點介紹

    FineDataLink 實時任務開發模組提供多種類型的節點,多種節點配合使用,滿足您不同的資料處理需求。

    節點是組成實時任務的基本單位,多個節點透過線條連結後可確定執行流程,進而組成一個完整的實時任務。目前有如下節點:

    分類
    算子說明
    資料輸入Kafka輸入

    支援使用 Kafka 輸入算子實時讀取資料

    CDC輸入支援使用 CDC 輸入算子實時讀取資料
    Pulsar輸入支援使用 Pulsar 輸入算子實時讀取資料
    MQTT輸入
    支援使用 MQTT輸入算子實時讀取資料
    IBM MQ輸入
    支援使用 IBM MQ 輸入算子實時讀取資料
    資料匯出DB表匯出(實時任務)支援使用 DB表匯出算子實時將資料匯出至指定資料庫中
    Kafka匯出支援使用 Kafka 匯出算子將資料實時同步匯出至 Kafka 
    轉換JSON解析解析 JSON 結構的資料,匯出行列格式的資料
    XML解析將 XML 格式資料解析為行列格式資料
    欄位設定可實現資料流欄位的選擇、重新命名、資料類型轉換操作
    新增計算列在不影響原有欄位的情況下,可利用原有欄位透過引用或計算獲得一個新的欄位
    資料過濾過濾符合條件的資料記錄
    欄位拆列欄位值按照特定規則(分隔符或字元數)拆分,拆分後的結果形成新的多欄欄位和值
    欄位拆行欄位值按照特定規則(分隔符)拆分,拆分後的結果形成新的一欄欄位和值
    其他備註說明可幫助使用者為任務、節點增加備註

    2.2 操作流程

    順序說明文檔
    1配置實時任務設計時,資料讀取和資料寫入的資料源建立並管理資料源
    2讀取資料源需要開啟日誌資料庫環境準備概述
    3建立實時任務,並進行實時任務的開發參考各節點功能文檔
    4

    啟動任務

    -

    5對已經設定的定時任務進行任務管理和資源控制單個實時任務管理


    附件列表


    主题: 資料開發-實時任務
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!