定時任務維運-運作記錄

  • 文檔創建者:Wendy123456
  • 編輯次數:17
  • 最近更新:Jack.Li 于 2025-07-17
  • 1. 概述

    1.1 版本

    FineDataLink 版本功能變動
    2.0-
    4.1.7.3
    • 記錄讀寫程式日誌\異常和錯誤日誌使用程式中產生的程式日誌,支援將運作記錄匯出為檔案,以供查看和使用,詳情參見本文 3.7 節

    • 支援以「任務ID」篩選運作記錄。

    • 由於運作記錄資料儲存位置由 FineDB 改到了 LogDB 中,因此遮蔽了「刪除」、「批量刪除」運作記錄的功能。

    4.1.11.1

    透過定時任務API呼叫執行的記錄,觸發方式記錄為:API呼叫

    任務級重試任務時,提供「重試當前任務及下游」操作

    4.2.1.1

    運作狀態篩選項不再是下拉框形式,而是以複選按鈕組形式平鋪在頁面上

    4.2.6.2
    新增「跨越」運作狀態
    查看歷史版本更新
    FineDataLink 版本功能變動
    3.4
    「任務概覽」處新增「最近一次運作中斷的任務」、「正在運作中的任務」
    4.0.1錯誤日誌顯示優化
    4.0.3「任務概覽」處新增「最近一次運作報錯任務數」
    4.0.17
    • 支援回溯歷史任務的維運記錄

    • 支援查看任務運作時長

    • 優化任務維運的頁面結構,增加列表篩選功能,可根據時長、任務狀態等不同條件快速篩選對應任務

    4.0.18任務運作記錄支援查看節點運作狀態
    4.0.29
    • 「運作記錄>任務記錄」中,表格新增「髒資料」列,展示髒資料行

    • 「運作記錄>任務記錄」中,點選運作實體右側的「查看詳情」按鈕,可重試任務、查看重試記錄;重試任務後,原實體的運作狀態不改變,新增重試實體,可與原實體進行聯動

    • 「運作記錄>任務記錄」中,可根據最近一次/全量記錄、不同週期篩選任務運作記錄

    4.0.30
    • 「運作記錄」中,觸發方式篩選條件新增「事件」

    • 運作計劃頁面:取消調度計劃名的藍色文字連結

    4.1.1
    • 「運作記錄」頁面的指標卡運作中,新增佇列中;失敗指標卡中,新增運作、構建兩個維度

    • 「運作記錄」頁面的篩選條件運作狀態下拉框中,新增構建失敗

    4.1.2
    • 實體重試時,新增「指定業務日期」設定項

    • 「運作記錄」列表中,新增「重試」按鈕

    • 運作中和佇列中的實體,不支援重試

    • 重試任務的「參數設定」步驟中,刪除「新增參數」的功能

    • 點選定時任務產生的髒資料,可顯示具體錯誤堆疊,並可按照錯誤類型篩選

    4.1.4
    • 重試任務時,支援重試至某個節點

    • 支援批量終止定時任務;支援批量刪除運作記錄

    • 表格上方篩選條件右側,新增重置按鈕

    1.2 功能簡介

    運作記錄頁面有兩個 Tab ,分別為「任務記錄」和「運作計劃」。

    注:只有發佈模式下任務會顯示運作記錄,開發模式下任務運作不會顯示運作記錄。

    • 「任務記錄」Tab 下展示「生產模式」下定時任務運作情況,包括運作狀態、任務耗時、觸發方式等。

    • 「運作計劃」Tab下展示所有調度計劃的運作情況。

    如下圖所示:

    Snipaste_2025-07-17_14-03-30.png


    2. 任務記錄:查看任務運作情況

    2.1 任務運作概覽

    點選「任務維運>定時任務>運作記錄」,選擇指定的任務或者資料夾,即可看到該資料夾下任務的運作情況,包括運作狀態、任務耗時、觸發方式等。如下圖所示:

    QQ20250717-140525.png


    2.2 篩選任務運作情況

    1)可以篩選「運作狀態」(支援多選)、「觸發方式」、「髒資料」,也可透過「任務名稱」、「任務ID」搜尋任務。

    若定時任務運作程式中產生了髒資料,可顯示髒資料行數。如下圖所示:

    Snipaste_2025-07-17_14-07-38.png


    2)可篩選最近一次/全量記錄、自訂週期內的運作記錄。如下圖所示:

    Snipaste_2025-07-17_14-08-49.png

    2.3 查看任務運作日誌

    1)在任務運作記錄介面點選「查看詳情」,即可看到當次任務運作的日誌記錄,如下圖所示:

    QQ20250717-141317.png

    點選「統計」,若出現髒資料,可點選查看髒資料詳情,同時可以按照錯誤類型對髒資料進行篩選,並查看報錯詳情,如下圖所示:

    QQ20250717-141642.png

    QQ20250717-141752.png

    2)同時右下角會顯示節點執行狀態,滑鼠懸浮執行狀態,可查看節點執行日誌。如下圖所示:

    Snipaste_2025-07-17_14-20-22.png

    對於正在運作的任務,任務日誌介面支援查看實時運作狀態,如下圖所示:

    1.gif

    2.4 自訂表頭欄位

    使用者可自訂表格展示的欄位以及展示的欄位順序(不能對「查看詳情」和「操作」這兩個欄位做操作)。如下圖所示:

    Snipaste_2025-07-17_14-31-19.png


    3. 任務記錄:重試任務

    注:運作中和佇列中的實體,不支援重試。

    3.1 場景說明

    1)使用者設計的定時任務取數邏輯為:每天抽取當天調度時間往前推 24h 內的資料,彙集到目標資料庫。節假日期間 3 天,系統當機,定時任務沒有運作,導致目標資料庫缺少 3 天的資料。

    具體範例請參見:補資料範例

    2)定時任務在運作程式中某個匯出組件出現髒資料,在 髒資料臨界值 後,定時任務不會停止;定時任務運作結束後維運人員收到推播,發現有髒資料產生。

    維運人員開啟髒資料處理介面,查看髒資料產生的原因,發現髒資料原因是欄位超長,修改目標端欄位長度後,希望重新運作任務。

    3.2 重試入口

    1)有兩個入口:

    • 「運作記錄」列表中,可點選「重試」按鈕。

    • 點選「查看詳情」按鈕後,當次任務運作的日誌記錄介面中可看到「重試」按鈕。

    QQ20250717-143303.png

    2)點選「重試」按鈕後,介面如下圖所示:

    有兩種重試方式:指定範圍重試任務級重試

    Snipaste_2025-07-17_14-33-26.png

    3.3 指定範圍重試

    選擇「指定範圍重試>節點名稱」後,右下角可以選擇「重試節點」、「重試節點及下游」、重試至此節點」。介面如下圖所示:

    QQ20250717-143458.png

    QQ20250717-143545.png

    各設定項介紹如下表所示:

    注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。

    設定項
    說明
    重試節點1)適用場景:某個獨立節點運作失敗,與其他節點無顯著關係,如一個「任務呼叫」節點運作失敗

    2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,進行指定重新運作,運作粒度為任務節點,不支援「資料轉換」節點中的算子

    3)重試時,不展示「備註說明」節點

    重試節點及下游

    1)適用場景:使用者將一個業務閉環拆解為多個節點,如節點 A 匯出參數,節點 B 引用節點 A ,此時出錯需要重新運作節點 A+B

    2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,運作該節點及後面的節點(運作情況與節點本身的執行情況和遠端情況有關)

    運作粒度為任務節點,不支援「資料轉換」節點中的算子

    3)選擇條件分支參數指派虛擬節點類型的節點時,只能使用:重試節點及下游

    重試至此節點詳情可參見:運作至此節點
    參數設定

    進行重試時,使用者可以對本次重試時的參數進行臨時配置,配置結果只影響本次重試運作、不修改實際任務配置

    介面如下圖所示:

    1752738092335572.png

    1)指定業務日期:

    • 使用場景:定時任務中使用了 自訂時間參數 aa,值為 yyyy-mm-dd,原定 2023-11-01 16:30:00 運作的實體,因為網路原因,運作失敗,兩天後想重跑任務,可指定業務日期為 2023-11-01 hh:mm:ss(由於參數值為 yyyy-mm-dd,hh:mm:ss可隨意設定),此時任務會使用 aa=2023-11-01 重跑

    • 預設值為實體原本調度開始的時間。如下圖所示:

    Snipaste_2025-07-17_14-40-51.png

    • 可以為空,若為空則等同於手動運作任務。指定「業務日期」的值,會在重試時,指派給內建參數 ${cyctime},及基於 ${cyctime} 延伸出來的 自訂時間參數

    2)任務參數:

    支援修改

    當參數為日期類型時,不能修改為常數,值格式:時間格式+N,或時間格式-N,時間格式:yyyy、yy、mm、dd、hh、mi、ss 自由組合

    A 任務依賴 B 任務,對當前 B 任務設定了「指定業務日期」,會觸發 A 任務,A 任務會被觸發但是執行的時間是當前時間非指定業務日期

    3.4 任務級重試

    介面如下圖所示:

    QQ20250717-144609.png

    QQ20250717-145018.png

    各設定項介紹如下表所示:

    注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。

    設定項
    說明
    重試當前任務
    定時任務整體失敗,對任務整體進行重試
    重試當前任務及下游(4.1.11.1 及之後版本)

    說明:

    若為定時任務 A 設定 事件調度 時,設定了下游任務 B ,重試任務 A 時,可選擇該按鈕,將根據「事件調度」中配置的任務關係&條件內容,判斷下游任務 B 是否觸發

    應用場景:

    例如使用者設定 A、B 任務觸發 D 任務,A、B任務都失敗,未觸發下游任務 D,希望能夠重跑任務,若兩個任務均重跑成功則觸發下游任務,就可以使用此功能

    QQ20250717-145906.png

    注:該次手動重試產生的運作記錄(包含下游被本次拉起的實體)會參與事件調度條件內容判斷(包含定時),判斷使用成功觸發下游過後不再使用本次的運作記錄去參與判斷

    參數設定
    參考本文 3.3 節內容

    3.5 產生髒資料後,重試的處理場景

    場景
    增量同步的方式
    重試後是否會存在資料問題
    建議處理措施
    全量同步
    --
    增量同步-使用時間戳


    動態參數:如:配置 now-1 作為資料範圍,每次更新前一天資料


    在重試時,使用者可以指定本次運作的臨時任務參數值

    且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作

    獲取目標表的最新資料時間戳

    如:每次任務先從目標表獲取最大的時間戳,作為本次同步的起始時間

    使用者需要手動刪除目標表大於本批次的資料,以進行重試

    且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作

    自訂配置表儲存斷點

    如:每次任務最後一步儲存本次同步的最大時間至一張表儲存

    使用者需要手工修改斷點值,以進行重試

    且使用者的任務設計需要支援冪等、即同一資料範圍的定時任務需要支援多次運作

    全表比對--

    3.6 重試實體說明

    重試任務後,原實體的運作狀態不改變,新增重試實體,可與原實體進行聯動。如下圖所示:

    Snipaste_2025-07-17_15-00-24.png

    傳回原記錄後,展開「重試記錄」按鈕,選擇某次的重試記錄,可查看該次的重試記錄。如下圖所示:

    Snipaste_2025-07-17_15-01-03.png

    3.7 匯出記錄

    4.1.7.3 版本開始支援將運作記錄匯出為檔案,以供查看和使用。

    Snipaste_2025-07-17_15-01-46.png

    4. 批量刪除運作記錄/批量終止定時任務

    注:4.1.7.3 以及之後的版本不支援刪除和批量刪除功能。

    1)支援批量終止定時任務、批量刪除運作記錄。

    先選中需要刪除的運作記錄,或者先選中需要終止的實體,再點選批量刪除/批量終止按鈕。如下圖所示:

    需注意:

    • 支援一鍵全選當前頁,執行批量終止/刪除操作。

    • 批量終止:批量終止正在運作的實體;運作失敗、中斷、成功、構建失敗的實體,不支援終止。

    • 批量刪除:運作中的實體(運作中、佇列中)不支援刪除。

    QQ20250717-151234.png

    2)點選批量終止/批量刪除後,會將執行結果告知使用者。如下圖所示:

    1704352054366545.png

    5. 運作計劃

    1)「運作計劃」Tab下展示所有調度計劃的運作情況。如下圖所示:

    Snipaste_2025-07-17_15-17-50.png

    2)點選「查看詳情」,可查看配置該調度的定時任務的運作情況。如下圖所示:

    Snipaste_2025-07-17_15-21-19.png

    3)點選1724744188321479.png「查看計劃」按鈕,將跳轉到「調度計劃」頁面,可在此頁面對配製好的調度修改、刪除。如下圖所示:


    Snipaste_2025-07-17_15-23-53.png

    附件列表


    主題: 維運中心
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    • 评价文档,奖励 1 ~ 100 随机 F 豆!