最新历史版本 :定時任務維運-運作記錄 返回文檔
編輯時間: 內容長度:图片数:目录数: 修改原因:

目錄:

1. 概述编辑

1.1 版本

FineDataLink 版本功能變動
2.0-
4.1.7.3
  • 記錄讀寫程式日誌\異常和錯誤日誌使用程式中產生的程式日誌,支援將運作記錄匯出為檔案,以供查看和使用,詳情參見本文 3.7 節

  • 支援以「任務ID」篩選運作記錄。

  • 由於運作記錄資料儲存位置由 FineDB 改到了 LogDB 中,因此遮蔽了「刪除」、「批量刪除」運作記錄的功能。

4.1.11.1

透過定時任務API呼叫執行的記錄,觸發方式記錄為:API呼叫

任務級重試任務時,提供「重試當前任務及下游」操作

4.2.1.1

運作狀態篩選項不再是下拉框形式,而是以複選按鈕組形式平鋪在頁面上

4.2.6.2
新增「跨越」運作狀態
4.2.9.1任務記錄新增「任務發佈版本」資訊
4.2.10.2新增「運作監視」功能,詳情請參見:定时任务运维-运行监控

1.2 歷史版本更新

FineDataLink 版本功能變動
3.4
「任務概覽」處新增「最近一次運作中斷的任務」、「正在運作中的任務」
4.0.1錯誤日誌顯示優化
4.0.3「任務概覽」處新增「最近一次運作報錯任務數」
4.0.17
  • 支援回溯歷史任務的維運記錄

  • 支援查看任務運作時長

  • 優化任務維運的頁面結構,增加列表篩選功能,可根據時長、任務狀態等不同條件快速篩選對應任務

4.0.18任務運作記錄支援查看節點運作狀態
4.0.29
  • 「運作記錄>任務記錄」中,表格新增「髒資料」列,展示髒資料行

  • 「運作記錄>任務記錄」中,點選運作實體右側的「查看詳情」按鈕,可重試任務、查看重試記錄;重試任務後,原實體的運作狀態不改變,新增重試實體,可與原實體進行聯動

  • 「運作記錄>任務記錄」中,可根據最近一次/全量記錄、不同週期篩選任務運作記錄

4.0.30
  • 「運作記錄」中,觸發方式篩選條件新增「事件」

  • 運作計劃頁面:取消調度計劃名的藍色文字連結

4.1.1
  • 「運作記錄」頁面的指標卡運作中,新增佇列中;失敗指標卡中,新增運作、構建兩個維度

  • 「運作記錄」頁面的篩選條件運作狀態下拉框中,新增構建失敗

4.1.2
  • 實體重試時,新增「指定業務日期」設定項

  • 「運作記錄」列表中,新增「重試」按鈕

  • 運作中和佇列中的實體,不支援重試

  • 重試任務的「參數設定」步驟中,刪除「新增參數」的功能

  • 點選定時任務產生的髒資料,可顯示具體錯誤堆疊,並可按照錯誤類型篩選

4.1.4
  • 重試任務時,支援重試至某個節點

  • 支援批量終止定時任務;支援批量刪除運作記錄

  • 表格上方篩選條件右側,新增重置按鈕

1.3 功能簡介

運作記錄頁面有兩個 Tab ,分別為「任務記錄」和「運作計劃」。

注:只有發佈模式下任務會顯示運作記錄,開發模式下任務運作不會顯示運作記錄。

  • 「任務記錄」Tab 下展示「生產模式」下定時任務運作情況,包括運作狀態、任務耗時、觸發方式等。

  • 「運作計劃」Tab下展示所有調度計劃的運作情況。

如下圖所示:

Snipaste_2025-07-17_14-03-30.png


2. 任務記錄:查看任務運作情況编辑

2.1 任務運作概覽

點選「任務維運>定時任務>運作記錄」,選擇指定的任務或者資料夾,即可看到該資料夾下任務的運作情況,包括運作狀態、任務耗時、觸發方式等。如下圖所示:

QQ20250717-140525.png


2.2 篩選任務運作情況

1)可以篩選「運作狀態」(支援多選)、「觸發方式」、「髒資料」,也可透過「任務名稱」、「任務ID」搜尋任務。

若定時任務運作程式中產生了髒資料,可顯示髒資料行數。如下圖所示:

Snipaste_2025-07-17_14-07-38.png


2)可篩選最近一次/全量記錄、自訂週期內的運作記錄。如下圖所示:

Snipaste_2025-07-17_14-08-49.png

2.3 查看任務運作日誌

1)在任務運作記錄介面點選「查看詳情」,即可看到當次任務運作的日誌記錄,如下圖所示:

QQ20250717-141317.png

點選「統計」,若出現髒資料,可點選查看髒資料詳情,同時可以按照錯誤類型對髒資料進行篩選,並查看報錯詳情,如下圖所示:

QQ20250717-141642.png

QQ20250717-141752.png

2)同時右下角會顯示節點執行狀態,滑鼠懸浮執行狀態,可查看節點執行日誌。如下圖所示:

Snipaste_2025-07-17_14-20-22.png

對於正在運作的任務,任務日誌介面支援查看實時運作狀態,如下圖所示:

1.gif

2.4 自訂表頭欄位

使用者可自訂表格展示的欄位以及展示的欄位順序(不能對「查看詳情」和「操作」這兩個欄位做操作)。如下圖所示:

Snipaste_2025-07-17_14-31-19.png


3. 任務記錄:重試任務编辑

注:運作中和佇列中的實體,不支援重試。

3.1 場景說明

1)使用者設計的定時任務取數邏輯為:每天抽取當天調度時間往前推 24h 內的資料,彙集到目標資料庫。節假日期間 3 天,系統當機,定時任務沒有運作,導致目標資料庫缺少 3 天的資料。

具體範例請參見:補資料範例

2)定時任務在運作程式中某個匯出組件出現髒資料,在 髒資料臨界值 後,定時任務不會停止;定時任務運作結束後維運人員收到推播,發現有髒資料產生。

維運人員開啟髒資料處理介面,查看髒資料產生的原因,發現髒資料原因是欄位超長,修改目標端欄位長度後,希望重新運作任務。

3.2 重試入口

1)有兩個入口:

  • 「運作記錄」列表中,可點選「重試」按鈕。

  • 點選「查看詳情」按鈕後,當次任務運作的日誌記錄介面中可看到「重試」按鈕。

QQ20250717-143303.png

2)點選「重試」按鈕後,介面如下圖所示:

有兩種重試方式:指定範圍重試任務級重試

Snipaste_2025-07-17_14-33-26.png

3.3 指定範圍重試

選擇「指定範圍重試>節點名稱」後,右下角可以選擇「重試節點」、「重試節點及下游」、重試至此節點」。介面如下圖所示:

QQ20250717-143458.png

QQ20250717-143545.png

各設定項介紹如下表所示:

注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。

設定項
說明
重試節點1)適用場景:某個獨立節點運作失敗,與其他節點無顯著關係,如一個「任務呼叫」節點運作失敗

2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,進行指定重新運作,運作粒度為任務節點,不支援「資料轉換」節點中的算子

3)重試時,不展示「備註說明」節點

重試節點及下游

1)適用場景:使用者將一個業務閉環拆解為多個節點,如節點 A 匯出參數,節點 B 引用節點 A ,此時出錯需要重新運作節點 A+B

2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,運作該節點及後面的節點(運作情況與節點本身的執行情況和遠端情況有關)

運作粒度為任務節點,不支援「資料轉換」節點中的算子

3)選擇條件分支參數指派虛擬節點類型的節點時,只能使用:重試節點及下游

重試至此節點詳情可參見:運作至此節點
參數設定

進行重試時,使用者可以對本次重試時的參數進行臨時配置,配置結果只影響本次重試運作、不修改實際任務配置

介面如下圖所示:

1752738092335572.png

1)指定業務日期:

  • 使用場景:定時任務中使用了 自訂時間參數 aa,值為 yyyy-mm-dd,原定 2023-11-01 16:30:00 運作的實體,因為網路原因,運作失敗,兩天後想重跑任務,可指定業務日期為 2023-11-01 hh:mm:ss(由於參數值為 yyyy-mm-dd,hh:mm:ss可隨意設定),此時任務會使用 aa=2023-11-01 重跑

  • 預設值為實體原本調度開始的時間。如下圖所示:

Snipaste_2025-07-17_14-40-51.png

  • 可以為空,若為空則等同於手動運作任務。指定「業務日期」的值,會在重試時,指派給內建參數 ${cyctime},及基於 ${cyctime} 延伸出來的 自訂時間參數

2)任務參數:

支援修改

當參數為日期類型時,不能修改為常數,值格式:時間格式+N,或時間格式-N,時間格式:yyyy、yy、mm、dd、hh、mi、ss 自由組合

A 任務依賴 B 任務,對當前 B 任務設定了「指定業務日期」,會觸發 A 任務,A 任務會被觸發但是執行的時間是當前時間非指定業務日期

3.4 任務級重試

介面如下圖所示:

QQ20250717-144609.png

QQ20250717-145018.png

各設定項介紹如下表所示:

注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。

設定項
說明
重試當前任務
定時任務整體失敗,對任務整體進行重試
重試當前任務及下游(4.1.11.1 及之後版本)

說明:

若為定時任務 A 設定 事件調度 時,設定了下游任務 B ,重試任務 A 時,可選擇該按鈕,將根據「事件調度」中配置的任務關係&條件內容,判斷下游任務 B 是否觸發

應用場景:

例如使用者設定 A、B 任務觸發 D 任務,A、B任務都失敗,未觸發下游任務 D,希望能夠重跑任務,若兩個任務均重跑成功則觸發下游任務,就可以使用此功能

QQ20250717-145906.png

注:該次手動重試產生的運作記錄(包含下游被本次拉起的實體)會參與事件調度條件內容判斷(包含定時),判斷使用成功觸發下游過後不再使用本次的運作記錄去參與判斷

參數設定
參考本文 3.3 節內容

3.5 產生髒資料後,重試的處理場景

場景
增量同步的方式
重試後是否會存在資料問題
建議處理措施
全量同步
--
增量同步-使用時間戳


動態參數:如:配置 now-1 作為資料範圍,每次更新前一天資料


在重試時,使用者可以指定本次運作的臨時任務參數值

且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作

獲取目標表的最新資料時間戳

如:每次任務先從目標表獲取最大的時間戳,作為本次同步的起始時間

使用者需要手動刪除目標表大於本批次的資料,以進行重試

且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作

自訂配置表儲存斷點

如:每次任務最後一步儲存本次同步的最大時間至一張表儲存

使用者需要手工修改斷點值,以進行重試

且使用者的任務設計需要支援冪等、即同一資料範圍的定時任務需要支援多次運作

全表比對--

3.6 重試實體說明

重試任務後,原實體的運作狀態不改變,新增重試實體,可與原實體進行聯動。如下圖所示:

Snipaste_2025-07-17_15-00-24.png

傳回原記錄後,展開「重試記錄」按鈕,選擇某次的重試記錄,可查看該次的重試記錄。如下圖所示:

Snipaste_2025-07-17_15-01-03.png

3.7 匯出記錄

4.1.7.3 版本開始支援將運作記錄匯出為檔案,以供查看和使用。

Snipaste_2025-07-17_15-01-46.png

4. 批量刪除運作記錄/批量終止定時任務编辑

注:4.1.7.3 以及之後的版本不支援刪除和批量刪除功能。

1)支援批量終止定時任務、批量刪除運作記錄。

先選中需要刪除的運作記錄,或者先選中需要終止的實體,再點選批量刪除/批量終止按鈕。如下圖所示:

需注意:

  • 支援一鍵全選當前頁,執行批量終止/刪除操作。

  • 批量終止:批量終止正在運作的實體;運作失敗、中斷、成功、構建失敗的實體,不支援終止。

  • 批量刪除:運作中的實體(運作中、佇列中)不支援刪除。

QQ20250717-151234.png

2)點選批量終止/批量刪除後,會將執行結果告知使用者。如下圖所示:

1704352054366545.png

5. 運作計劃编辑

1)「運作計劃」Tab下展示所有調度計劃的運作情況。如下圖所示:

Snipaste_2025-07-17_15-17-50.png

2)點選「查看詳情」,可查看配置該調度的定時任務的運作情況。如下圖所示:

Snipaste_2025-07-17_15-21-19.png

3)點選1724744188321479.png「查看計劃」按鈕,將跳轉到「調度計劃」頁面,可在此頁面對配製好的調度修改、刪除。如下圖所示:


Snipaste_2025-07-17_15-23-53.png