定時任務運維-重試任務

  • 文檔創建者:Laurenwy
  • 編輯次數:1
  • 1. 概述

    1.1 版本

    FineDataLink 版本
    功能變動
    4.0.29

    「運作記錄>任務記錄」中,點選運作實體右側的「查看詳情」按鈕,可重試任務、查看重試記錄;重試任務後,原實體的運作狀態不改變,新增重試實體,可與原實體進行聯動

    4.1.2

    實體重試時,新增「指定業務日期」設定項

    「運作記錄」列表中,新增「重試」按鈕

    運作中和佇列中的實體,不支援重試

    重試任務的「參數設定」步驟中,刪除「新增參數」的功能

    4.1.4

    重試任務時,支援重試至某個節點

    4.1.11.1任務級重試任務時,提供「重試當前任務及下游」操作
    4.2.17.3

    支援批量任務重試

    任務重試時,支援設定重試優先

    1.2 應用場景

    1)使用者設計的定時任務取數邏輯為:每天抽取當天調度時間往前推 24h 內的資料,彙集到目標資料庫。節假日期間 3 天,系統當機,定時任務沒有運作,導致目標資料庫缺少 3 天的資料。

    具體範例請參見:補資料範例

    2)定時任務在運作程式中某個匯出組件出現髒資料,在 髒資料臨界值 後,定時任務不會停止;定時任務運作結束後維運人員收到推播,發現有髒資料產生。

    維運人員開啟髒資料處理介面,查看髒資料產生的原因,發現髒資料原因是欄位超長,修改目標端欄位長度後,希望重新運作任務。

    1.3 功能簡介

    FineDataLink 支援重試定時任務,可「指定範圍重試」或者「任務級重試」。如下圖所示:

    icon提示:
    運作中、佇列中、構建中的實體,不支援重試。

    1.4 知識擴展

    「維運中心>定時任務>運作記錄」處,可以選擇實體進行重試(本文內容);定時任務發佈後,也可以 補充歷史資料 。二者差別說明如下:


    重試實體(本文內容)補歷史資料
    相同點本質上都是指定業務日期去觸發任務運作,且配置結果只影響本次執行,不修改實際任務配置
    差別
    • 在某個實體上觸發重跑,則可以預設將實體原本的執行時間代入,作為業務日期,滿足重跑的需求

    • 可以同時重跑多個實體

    在任務上觸發運作,可以選擇指定時間或者時間區間,如果是時間區間,可以生成多個實體,滿足補資料的需求
    查看運作記錄
    • 「維運中心>定時任務>運作記錄」處,觸發方式選擇「手動重試」即可

    • 或者查看重試記錄(本文第四章說明)

    • 「維運中心>定時任務>運作記錄」處,觸發方式選擇「補數觸發」即可

    • 或者查看補數記錄

    2. 重試單個任務

    注:若來源表資料是完整的,可使用來源表與目標表進行 資料比對 ,將變化資料同步到目標表中,也可使用本章的重試任務功能。

    2.1 重試入口

    1)有兩個入口:

    • 「運作記錄」列表中,可點選「重試」按鈕。

    • 點選「查看詳情」按鈕後,當次任務運作的日誌記錄介面中可看到「重試」按鈕。

    2)點選「重試」按鈕後,介面如下圖所示:

    有兩種重試方式:「指定範圍重試」和「任務級重試」。

    2.2 指定範圍重試

    選擇「指定範圍重試>節點名稱」後,右下角可以選擇「重試節點」、「重試節點及下游」、「重試至此節點」。介面如下圖所示:

    各設定項介紹如下表所示:

    注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。

    設定項
    說明
    重試節點1)適用場景:某個獨立節點運作失敗,與其他節點無顯著關係,如一個「任務呼叫」節點運作失敗

    2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,進行指定重新運作,運作粒度為任務節點,不支援「資料轉換」節點中的算子

    3)重試時,不展示「備註說明」節點

    重試節點及下游

    1)適用場景:使用者將一個業務閉環拆解為多個節點,如節點 A 匯出參數,節點 B 引用節點 A ,此時出錯需要重新運作節點 A+B

    2)功能簡介:選擇「指定範圍重試」才有該選項;使用者選擇出現髒資料的節點,運作該節點及後面的節點(運作情況與節點本身的執行情況和遠端情況有關)

    運作粒度為任務節點,不支援「資料轉換」節點中的算子

    3)選擇「條件分支」「參數指派」「虛擬節點」類型的節點時,只能使用:重試節點及下游

    重試至此節點詳情可參見:運作至此節點
    參數設定

    進行重試時,使用者可以對本次重試時的參數進行臨時配置,配置結果只影響本次重試運作、不修改實際任務配置

    介面如下圖所示:

    1)指定業務日期:

    • 使用場景:定時任務中使用了 自訂時間參數 aa,值為 yyyy-mm-dd,原定 2023-11-01 16:30:00 運作的實體,因為網路原因,運作失敗,兩天後想重跑任務,可指定業務日期為 2023-11-01 hh:mm:ss(由於參數值為 yyyy-mm-dd,hh:mm:ss可隨意設定),此時任務會使用 aa=2023-11-01 重跑

    • 預設值為實體原本調度開始的時間。如下圖所示:

    • 可以為空,若為空則等同於手動運作任務。指定「業務日期」的值,會在重試時,指派給內建參數 ${cyctime},及基於 ${cyctime} 延伸出來的 自訂時間變數

    2)任務參數:

    支援修改

    當參數為日期類型時,不能修改為常數,值格式:時間格式+N,或時間格式-N,時間格式:yyyy、yy、mm、dd、hh、mi、ss 自由組合

    A 任務依賴 B 任務,對當前 B 任務設定了「指定業務日期」,會觸發 A 任務,A 任務會被觸發但是執行的時間是當前時間非「指定業務日期」

    任務優先

    4.2.17.3 及之後版本有該設定項

    •  預設跟隨任務最新的優先配置;支援修改,配置結果只影響本次任務產生的實體,不修改實際任務配置

    • 此處是按照任務配置優先,而不是實體;即同個任務的實體具體相同的優先,並預設按照各個實體的業務日期順序執行

    2.3 任務級重試

    介面如下圖所示:

    各設定項介紹如下表所示:

    注:重新運作任務可能導致目標端存在重複資料,使用者需根據實際情況進行判斷處理。

    設定項
    說明
    重試當前任務
    定時任務整體失敗,對任務整體進行重試
    重試當前任務及下游(4.1.11.1 及之後版本)

    說明:

    若為定時任務 A 設定 事件調度 時,設定了下游任務 B ,重試任務 A 時,可選擇該按鈕,將根據「事件調度」中配置的任務關係&條件內容,判斷下游任務 B 是否觸發

    應用場景:

    例如使用者設定 A、B 任務觸發 D 任務,A、B任務都失敗,未觸發下游任務 D,希望能夠重跑任務,若兩個任務均重跑成功則觸發下游任務,就可以使用此功能

    注:該次手動重試產生的運作記錄(包含下游被本次拉起的實體)會參與事件調度條件內容判斷(包含定時),判斷使用成功觸發下游過後不再使用本次的運作記錄去參與判斷

    參數設定&任務優先
    參考本文 2.2 節內容

    2.4 產生髒資料後,重試的處理場景

    場景
    增量同步的方式
    重試後是否會存在資料問題
    建議處理措施
    全量同步
    -否-
    增量同步-使用時間戳


    動態參數:如:配置 now-1 作為資料範圍,每次更新前一天資料

    是

    在重試時,使用者可以指定本次運作的臨時任務參數值

    且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作

    獲取目標表的最新資料時間戳

    如:每次任務先從目標表獲取最大的時間戳,作為本次同步的起始時間

    是

    使用者需要手動刪除目標表大於本批次的資料,以進行重試

    且使用者的任務設計需要支援冪等,即同一資料範圍的定時任務需要支援多次運作

    自訂配置表儲存斷點

    如:每次任務最後一步儲存本次同步的最大時間至一張表儲存

    是

    使用者需要手工修改斷點值,以進行重試

    且使用者的任務設計需要支援冪等、即同一資料範圍的定時任務需要支援多次運作

    全表比對-否-

    3. 批量重試

    1)4.2.17.3 及之後版本,支援批量重試定時任務。

    選擇的實體中有構建中、運作中、佇列中的實體時,「批量重試」按鈕灰化。

    2)點選「批量重試」按鈕後,進入「重試方式」步驟。如下圖所示:

    • 僅支援任務級重試。

    • 「重試下游任務」按鈕:勾選後,產生的運作記錄會參與下游任務執行條件的判斷;可點選「檢視」按鈕,可查看當前任務組及其上下游任務組。

    3)點選「下一步」,進入「參數設定」步驟。

    設定項
    說明
    指定業務日期不支援手動設定,預設為原實體運作時間
    任務靜態參數

    參數值為任務配置的最新參數值;支援修改,只影響本次重試運作,不修改實際任務配置

    4)點選「下一步」,進入「運作管理」步驟。

    任務優先說明:

    • 預設跟隨任務最新的優先配置;支援修改,配置結果只影響本次任務產生的實體,不修改實際任務配置。

    • 此處是按照任務配置優先,而不是實體;即同個任務的實體具體相同的優先,並預設按照各個實體的業務日期順序執行。

    5)點選「重試」按鈕即可。

    4. 重試記錄查看

    1)點選「維運中心>定時任務>運作記錄」,觸發方式選擇「手動重試」,可查看重試記錄。

    2)重試任務後,原實體的運作狀態不改變,新增重試實體,可與原實體進行聯動。如下圖所示:

    傳回原記錄後,展開「重試記錄」按鈕,選擇某次的重試記錄,可查看該次的重試記錄。如下圖所示:


    附件列表


    主題: 維運中心
    已經是第一篇
    已經是最後一篇
    • 有幫助
    • 沒幫助
    • 只是瀏覽
    中文(繁體)

    滑鼠選中內容,快速回饋問題

    滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

    不再提示

    10s後關閉

    獲取幫助
    線上支援
    獲取專業技術支援,快速幫助您解決問題
    工作日9:00-12:00,13:30-17:30在线
    頁面反饋
    針對當前網頁的建議、問題反饋
    售前咨詢
    業務咨詢
    電話:0933-790886或 0989-092892
    郵箱:taiwan@fanruan.com
    頁面反饋
    *問題分類
    不能為空
    問題描述
    0/1000
    不能為空

    反馈已提交

    网络繁忙