實時採集任務維運

  • 文檔創建者:Laurenwy
  • 編輯次數:2
  • 最近更新:Nikozhan 于 2025-05-29
  • 1. 概述

    1.1 版本

    FineDataLink 版本
    功能變動
    4.2.4.3新增實時採集任務
    4.2.6.3

    1)新增依賴關係Tab:展示依賴該實時採集任務的管道任務列表、實時任務列

    2)來源為 Oracle、MySQL、SQLServer 時,顯示「日誌解析延遲時間」

    3)解析中的表Tab:新增實時統計、歷史統計

    4)可查看所有資料獲取任務的運作情況

    1.2 功能簡介

    實時採集任務 被自動建立後,可在「管理系統>資料連結>實時採集任務」中查看運作詳情。如下圖所示:

    2. 管理實時採集任務

    2.1 篩選實時採集任務

    可透過連結名稱、任務名稱、解析表、任務狀態對實時採集任務進行篩選。如下圖所示:

    任務狀態說明:

    • 待啟動:實時採集任務被建立後的初始狀態。

    • 啟動中:從啟動到任務實際開始運作的時間都處於「啟動中」(過渡態)。

    • 運作中:任務正常運作。

    • 停止中:從任務運作到任務暫停的時間都處於「停止中」(過渡態)。

    • 已停止:任務已停止運作。

    • 運作錯誤:任務在啟動程式中或者運作中,因為遇到報錯停止運作。

    2.2 重新命名/刪除實時採集任務

    當一個實時採集任務中所有表的 CDC 資料收集都被刪除時,會自動暫停該實時採集任務,對於暫停的任務,使用者可以手動刪除任務。

    3. 單個實時採集任務維運

    選中單個實時採集任務,可查看實時採集任務的基本資訊、解析中的表、依賴關係、運作日誌。如下圖所示:

    3.1 基本資訊

    使用者可點選按鈕,修改實時採集任務的名稱;可在此處查看實時採集任務的資料連結名稱、讀取方式、任務建立時間、最新讀取訊息時間、日誌解析延遲時間(4.2.6.3 及之後版本新增)。如下圖所示:

    僅來源為 Oracle、MySQL、SQLServer 時,才顯示「日誌解析延遲時間」:


    資料庫類型
    額外展示資訊計算邏輯
    Oracle、MySQL
    • 源庫可用日誌時間:源庫全量日誌的最早SCN及對應時間

    • 當前解析日誌時間:當前任務解析到的SCN及對應時間(當選擇部分表同步的時候,該事件可能和當前讀取訊息時間不同

    • 源庫最新日誌時間:源庫全量日誌的最新SCN及對應時間

    3.png

    日誌解析延遲時間=源庫當前時間 - 源庫最新日誌時間
    SQLServer -
    • 先進行單表延遲計算:源庫當前時間 - 源表對應 CDC 表的最新訊息時間

    • 再對所有單表延遲取最小值,獲取到任務的活躍交易延遲

    3.2 解析中的表

    注:4.2.6.3 及之後版本新增實時統計歷史統計Tab。

    3.2.1 實時統計

    介面如下圖所示:

    設定項
    說明
    指標:讀取總量

    任務所有表讀取的總訊息量(僅包含增量部分

    已讀取的訊息,分增刪改展示;讀取總量=插入資料量+更新資料量+刪除資料量

    表格資料欄說明

    讀取量:任務內單表讀取訊息總量(僅包含增量部分

    分增刪改展示:

    39.png

    3.2.2 歷史統計

    介面如下圖所示:

    1)使用者可選擇近2小時、近24小時、近3天、近7天、近15天時間段,查看讀取詳情。如下圖所示:

    2)指標卡-讀取總量以柱形圖展示,支援點選放大查看,展示每個等分時間段內的任務所有表讀取訊息的增量。如下圖所示:

    可查看指定時間段內的資料增刪改情況;支援透過當前任務、來源表進行篩選。

    3.3 依賴關係

    注:4.2.6.3 及之後版本新增「依賴關係Tab。

    展示依賴該實時採集任務的管道任務列表、實時任務列表,展示對應管道/實時任務的任務名稱、任務類型、任務狀態、使用的表。如下圖所示:

    點選任務名稱,可跳轉到對應的管道/實時任務。

    3.4 運作日誌

    展示該實時採集任務的運作日誌。如下圖所示:

    可對任務運作日誌進行篩選。如下圖所示:

    4. 所有實時採集任務維運

    實時採集任務列表中,點選「所有任務」,可查看所有實時採集任務的運作情況。如下圖所示:

    注:4.2.6.3 及之後版本,支援該功能。

    可點選任務名稱,


    附件列表


    主題: 維運中心
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!