1. 概述
1.1 版本
| FineDataLink 版本 | 功能變動 |
|---|---|
| 4.2.4.3 | 新增實時採集任務 |
| 4.2.6.3 | 1）新增「依賴關系」Tab：展示依賴該實時採集任務的管道任務列表、實時任務列表 2）來源為 Oracle、MySQL、SQLServer 時，顯示「日誌解析延遲時間」 3）「解析中的表」Tab：新增實時統計、曆史統計 4）可查看所有資料獲取任務的運作情況 |
| 4.2.10.4 | 滑鼠懸浮在來源表名稱上，顯示 Topic 的已使用儲存、剩餘可用儲存、Topic 內資料最早時間資訊 |
| 4.2.13.1 | 實時管道和實時任務來源端為 SQLServer時，實時採集任務：
|
| 4.2.14.1 | 1）實時採集任務詳情頁顯示資料連結URL 2）刪除按鈕顯示在實時採集任務的右上角 3）支援手動暫停實時採集任務 4）實時採集任務的狀態進行優化更新 5）支援刪除單個/多個實時採集任務中的表 6）支援查看補數記錄；支援取消補數操作 |
1.2 功能簡介
實時採集任務 被自動建立後，可在「管理系統>資料連結>實時採集任務」中查看運作詳情。如下圖所示：
2. 管理實時採集任務
2.1 篩選實時採集任務
可透過連結名稱、任務名稱、解析表、任務狀態對實時採集任務進行篩選。如下圖所示：
任務狀態說明：
| 採集任務狀態 | 說明 |
|---|---|
| 待啟動 | 實時採集任務被建立後的初始狀態（4.2.14.1 版本刪除該狀態） |
| 啟動中 | 從啟動到任務實際開始運作的時間都處於「啟動中」（4.2.14.1 版本刪除該狀態） |
| 運作中 | 採集任務下至少有一個表處於「運作中」、「等待補數」狀態 |
| 停止中 | 從任務運作到任務暫停的時間都處於「停止中」（4.2.14.1 版本刪除該狀態） |
| 已停止 |
|
| 運作錯誤 | 採集任務在啟動中或者運作中，遇到任務級報錯停止採集 比如日誌找不到、資料連結斷連、訊息佇列異常 |
2.2 重新命名/刪除實時採集任務
2.2.1 重新命名
支援對實時採集任務重新命名。如下圖所示：
2.2.2 刪除
實時採集任務狀態為已停止、運作錯誤時，支援刪除。如下圖所示：
「刪除」操作的應用場景：
已存在的採集任務不用了。
不需要已存在採集任務的斷點。
採集任務斷點的日誌找不到了。
可以透過刪除採集任務，重置該資料連結的採集任務。
刪除邏輯：
刪除採集任務時，即刪除採集任務相關的所有資訊，包括採集任務的斷點、日誌、該採集任務下的所有kafka topic、該採集任務下的所有kafka topic內的相關資料（包括因為補數産生的老topic）。
2.2.3 暫停
4.2.14.1 版本新增。
實時採集任務狀態為運作中時，支援暫停。如下圖所示：
「暫停」操作的應用場景：
當實時採集對資料庫的的影響較大時，可以透過「暫停」按鈕，立馬停止採集任務。
暫停邏輯：
採集任務的手動暫停導緻的實時管道、實時任務運作異常不觸發時管道、實時任務的異常重試。
點選「暫停」按鈕後，採集任務進入停止流程，停止採集該採集任務下所有表，狀態從「運作中」切換至「停止中」並暫停所有補數執行緒。
使用該採集任務、正在運作中的實時任務報錯中止：${採集任務名稱}被手動暫停，${表list}同步中止
使用該採集任務、正在運作中的實時管道報錯中止：${採集任務名稱}被手動暫停，實時同步中止
2.3 補數
補數邏輯定義：
實時管道、實時任務中新新增表、同步時間早於實時採集任務的最早資料、曆史表恢複同步等操作，屬於補數邏輯。
即當前採集任務已解析到最新時間，但由於實時管道、實時任務的需要，重新解析之前的日誌，導緻短時間內有多個執行緒解析日誌，稱為補數。
注：當一個表出現異常時，整個補數邏輯都會報錯中止。
1）新加表/曆史表恢複採集時，該表展示在實時採集任務中，表狀態為解析中，佇列時顯示等待補數。
2）4.2.14.1 及之後版本，若採集任務曆史執行過補數，或者正在執行補數，可在實時採集任務詳情頁點選「查看補數記錄」按鈕，查看補數記錄。如下圖所示：
補數記錄頁面如下圖所示：
| 列名 | 含義 | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 建立時間 | 該補數邏輯的建立時間 | ||||||||||
| 開始採集起點 | 該補數邏輯的採集器開始採集的時間點 | ||||||||||
| 狀態 |
| ||||||||||
| 補數的表 |
|
3）由於誤操作，啟動了一個需要耗費很長時間的補數邏輯，4.2.14.1 及之後版本支援取消補數。
當補數邏輯在等待補數、補數中時，提供取消按鈕。補數邏輯取消後：
刪除此子採集器相關的kafka topic及其topic內相關資料
依賴該補數邏輯正在運作中的實時任務報錯中止：「採集任務中，${表名}的補數被手動取消，同步中止」
依賴該補數邏輯正在運作中的實時管道-表報錯中止：「採集任務中，${表名}的補數被手動取消，同步中止」；其餘沒有暫停的表，繼續正常同步
3. 單個實時採集任務維運
選中單個實時採集任務，可查看實時採集任務的基本資訊、解析中的表、依賴關係、運作日誌。如下圖所示：
3.1 基本資訊
使用者可點選按鈕，修改實時採集任務的名稱；可在此處查看實時採集任務的資料連結名稱、讀取方式、任務建立時間、最新讀取訊息時間、日誌解析延遲時間（4.2.6.3 及之後版本新增）。如下圖所示：
僅來源為 Oracle、MySQL、SQLServer 時，才顯示「日誌解析延遲時間」：
| 資料庫類型 | 額外展示資訊 | 計算邏輯 |
|---|---|---|
| Oracle、MySQL |
| 日誌解析延遲時間=源庫當前時間 - 源庫最新日誌時間 |
| SQLServer | - |
|
3.2 解析中的表
注：4.2.6.3 及之後版本新增「實時統計」和「歷史統計」Tab。
3.2.1 實時統計
介面如下圖所示：
| 設定項 | 說明 |
|---|---|
| 指標：讀取總量 | 任務所有表讀取的總訊息量（僅包含增量部分） 已讀取的訊息，分增刪改展示；讀取總量=插入資料量+更新資料量+刪除資料量 |
| 表格資料欄說明 | 讀取量：任務內單表讀取訊息總量（僅包含增量部分） 分增刪改展示：
4.2.10.4 及之後版本，滑鼠懸浮在來源表名稱上，顯示 Topic 的已使用儲存、剩餘可用儲存、Topic 內資料最早時間資訊：
|
3.2.2 歷史統計
介面如下圖所示：
1）使用者可選擇近2小時、近24小時、近3天、近7天、近15天時間段，查看讀取詳情。如下圖所示：
2）指標卡-讀取總量以柱形圖展示，支援點選放大查看，展示每個等分時間段內的任務所有表讀取訊息的增量。如下圖所示：
可查看指定時間段內的資料增刪改情況；支援透過當前任務、來源表進行篩選。
3.3 依賴關係
注：4.2.6.3 及之後版本新增「依賴關係」Tab。
展示依賴該實時採集任務的管道任務列表、實時任務列表，展示對應管道/實時任務的任務名稱、任務類型、任務狀態、使用的表。如下圖所示：
點選任務名稱，可跳轉到對應的管道/實時任務。
3.4 運作日誌
展示該實時採集任務的運作日誌。如下圖所示：
可對任務運作日誌進行篩選。如下圖所示：
4. 所有實時採集任務維運
實時採集任務列表中，點選「所有任務」，可查看所有實時採集任務的運作情況。如下圖所示：
注：4.2.6.3 及之後版本，支援該功能。
可點選任務名稱，可跳轉到該實時採集任務的詳情頁 。
上一篇：定時管道任務維運-任務管理
