1. 概述
1.1 版本
FineDataLink 版本 | 功能變動 |
---|---|
2.0 | - |
4.1.7.3 |
|
4.1.11.1 | 透過定時任務API呼叫執行的記錄,觸發方式記錄為:API呼叫 任務級重試任務時,提供「重試當前任務及下游」操作 |
4.2.1.1 | 「運作狀態」篩選項不再是下拉框形式,而是以複選按鈕組形式平鋪在頁面上 |
4.2.6.2 | 新增「跨越」運作狀態 |
查看歷史版本更新 | ||||||||||||||||||||||
|
1.2 功能簡介
運作記錄頁面有兩個 Tab ,分別為「任務記錄」和「運作計劃」。
注:只有發佈模式下任務會顯示運作記錄,開發模式下任務運作不會顯示運作記錄。
「任務記錄」Tab 下展示「生產模式」下定時任務運作情況,包括運作狀態、任務耗時、觸發方式等。
「運作計劃」Tab下展示所有調度計劃的運作情況。
如下圖所示:
2. 任務記錄:查看任務運作情況
2.1 任務運作概覽
點選「任務維運>定時任務>運作記錄」,選擇指定的任務或者資料夾,即可看到該資料夾下任務的運作情況,包括運作狀態、任務耗時、觸發方式等。如下圖所示:
2.2 篩選任務運作情況
1)可以篩選「運作狀態」(支援多選)、「觸發方式」、「髒資料」,也可透過「任務名稱」、「任務ID」搜尋任務。
若定時任務運作程式中產生了髒資料,可顯示髒資料行數。如下圖所示:
2)可篩選最近一次/全量記錄、自訂週期內的運作記錄。如下圖所示:
2.3 查看任務運作日誌
1)在任務運作記錄介面點選「查看詳情」,即可看到當次任務運作的日誌記錄,如下圖所示:
點選「統計」,若出現髒資料,可點選查看髒資料詳情,同時可以按照錯誤類型對髒資料進行篩選,並查看報錯詳情,如下圖所示:
2)同時右下角會顯示節點執行狀態,滑鼠懸浮執行狀態,可查看節點執行日誌。如下圖所示:
對於正在運作的任務,任務日誌介面支援查看實時運作狀態,如下圖所示:
2.4 自訂表頭欄位
使用者可自訂表格展示的欄位以及展示的欄位順序(不能對「查看詳情」和「操作」這兩個欄位做操作)。如下圖所示:
3. 任務記錄:重試任務
注:運作中和佇列中的實體,不支援重試。
3.1 場景說明
1)使用者設計的定時任務取數邏輯為:每天抽取當天調度時間往前推 24h 內的資料,彙集到目標資料庫。節假日期間 3 天,系統當機,定時任務沒有運作,導致目標資料庫缺少 3 天的資料。
具體範例請參見:補資料範例
2)定時任務在運作程式中某個匯出組件出現髒資料,在 髒資料臨界值 後,定時任務不會停止;定時任務運作結束後維運人員收到推播,發現有髒資料產生。
維運人員開啟髒資料處理介面,查看髒資料產生的原因,發現髒資料原因是欄位超長,修改目標端欄位長度後,希望重新運作任務。
3.2 重試入口
1)有兩個入口:
「運作記錄」列表中,可點選「重試」按鈕。
點選「查看詳情」按鈕後,當次任務運作的日誌記錄介面中可看到「重試」按鈕。
2)點選「重試」按鈕後,介面如下圖所示:
有兩種重試方式:「指定範圍重試」和「任務級重試」。
3.3 指定範圍重試
選擇「指定範圍重試>節點名稱」後,右下角可以選擇「重試節點」、「重試節點及下游」、「重試至此節點」。介面如下圖所示:
各設定項介紹如下表所示:
注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。
設定項 | 說明 |
---|---|
重試節點 | 1)適用場景:某個獨立節點運作失敗,與其他節點無顯著關係,如一個「任務呼叫」節點運作失敗 2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,進行指定重新運作,運作粒度為任務節點,不支援「資料轉換」節點中的算子 3)重試時,不展示「備註說明」節點 |
重試節點及下游 | 1)適用場景:使用者將一個業務閉環拆解為多個節點,如節點 A 匯出參數,節點 B 引用節點 A ,此時出錯需要重新運作節點 A+B 2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,運作該節點及後面的節點(運作情況與節點本身的執行情況和遠端情況有關) 運作粒度為任務節點,不支援「資料轉換」節點中的算子 3)選擇「條件分支」「參數指派」「虛擬節點」類型的節點時,只能使用:重試節點及下游 |
重試至此節點 | 詳情可參見:運作至此節點 |
參數設定 | 進行重試時,使用者可以對本次重試時的參數進行臨時配置,配置結果只影響本次重試運作、不修改實際任務配置 介面如下圖所示: 1)指定業務日期:
2)任務參數: 支援修改 當參數為日期類型時,不能修改為常數,值格式:時間格式+N,或時間格式-N,時間格式:yyyy、yy、mm、dd、hh、mi、ss 自由組合 A 任務依賴 B 任務,對當前 B 任務設定了「指定業務日期」,會觸發 A 任務,A 任務會被觸發但是執行的時間是當前時間非「指定業務日期」 |
3.4 任務級重試
介面如下圖所示:
各設定項介紹如下表所示:
注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。
設定項 | 說明 |
---|---|
重試當前任務 | 定時任務整體失敗,對任務整體進行重試 |
重試當前任務及下游(4.1.11.1 及之後版本) | 說明: 若為定時任務 A 設定 事件調度 時,設定了下游任務 B ,重試任務 A 時,可選擇該按鈕,將根據「事件調度」中配置的任務關係&條件內容,判斷下游任務 B 是否觸發 應用場景: 例如使用者設定 A、B 任務觸發 D 任務,A、B任務都失敗,未觸發下游任務 D,希望能夠重跑任務,若兩個任務均重跑成功則觸發下游任務,就可以使用此功能 注:該次手動重試產生的運作記錄(包含下游被本次拉起的實體)會參與事件調度條件內容判斷(包含定時),判斷使用成功觸發下游過後不再使用本次的運作記錄去參與判斷 |
參數設定 | 參考本文 3.3 節內容 |
3.5 產生髒資料後,重試的處理場景
場景 | 增量同步的方式 | 重試後是否會存在資料問題 | 建議處理措施 |
---|---|---|---|
全量同步 | - | 否 | - |
增量同步-使用時間戳 | 動態參數:如:配置 now-1 作為資料範圍,每次更新前一天資料 | 是 | 在重試時,使用者可以指定本次運作的臨時任務參數值 且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作 |
獲取目標表的最新資料時間戳 如:每次任務先從目標表獲取最大的時間戳,作為本次同步的起始時間 | 是 | 使用者需要手動刪除目標表大於本批次的資料,以進行重試 且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作 | |
自訂配置表儲存斷點 如:每次任務最後一步儲存本次同步的最大時間至一張表儲存 | 是 | 使用者需要手工修改斷點值,以進行重試 且使用者的任務設計需要支援冪等、即同一資料範圍的定時任務需要支援多次運作 | |
全表比對 | - | 否 | - |
3.6 重試實體說明
重試任務後,原實體的運作狀態不改變,新增重試實體,可與原實體進行聯動。如下圖所示:
傳回原記錄後,展開「重試記錄」按鈕,選擇某次的重試記錄,可查看該次的重試記錄。如下圖所示:
3.7 匯出記錄
4.1.7.3 版本開始支援將運作記錄匯出為檔案,以供查看和使用。
4. 批量刪除運作記錄/批量終止定時任務
注:4.1.7.3 以及之後的版本不支援刪除和批量刪除功能。
1)支援批量終止定時任務、批量刪除運作記錄。
先選中需要刪除的運作記錄,或者先選中需要終止的實體,再點選批量刪除/批量終止按鈕。如下圖所示:
需注意:
支援一鍵全選當前頁,執行批量終止/刪除操作。
批量終止:批量終止正在運作的實體;運作失敗、中斷、成功、構建失敗的實體,不支援終止。
批量刪除:運作中的實體(運作中、佇列中)不支援刪除。
2)點選批量終止/批量刪除後,會將執行結果告知使用者。如下圖所示:
5. 運作計劃
1)「運作計劃」Tab下展示所有調度計劃的運作情況。如下圖所示:
2)點選「查看詳情」,可查看配置該調度的定時任務的運作情況。如下圖所示:
3)點選「查看計劃」按鈕,將跳轉到「調度計劃」頁面,可在此頁面對配製好的調度修改、刪除。如下圖所示: