定时任务能力说明

「資料開發>定時任務」模組支援在視覺化介面使用各個節點和算子進行資料的抽取、轉換和裝載，並可以透過排程管理功能自動運作定時任務，幫助您輕鬆構建離線數倉，保證資料生產的高效穩定。

本文為您說明「定時任務」模組的能力。

2.1 任意終端到任意終端

2.1.1 功能說明

詳情請參見：定時任務支援的資料源範圍

第一欄和第二列的資料源可以任意排列組合，例如：讀取檔案類型資料，資料經過處理後（選做），儲存到資料庫

2.1.2 其他說明

2.2 任意結構轉化為任意結構

結構化資料、半結構化資料、非結構化資料之間可以任意轉換。

範例：

2.3 资料清理

針對原始資料進行清洗，統一資料口徑。

2.4 資料更新

資料更新方式為三種：增量更新、全量更新、比對更新，具體實現方案請參見：資料同步方案概述

注：可使用 数据比对功能说明 ，進行資料的一致檢查，即對比來源和目標資料的一致。

2.5 資料融合

針對不同類型的異構資料進行融合，完成資料聯動、維度建模，具體功能可參見：上下合并、資料聯動、SQL脚本、Spark SQL

2.6 數據預警

關鍵業務資料，達到臨界值情況下即時提醒，具體功能可參見：訊息通知

定時任務運作失敗也可進行提醒，具體請參見：任務控制-結果通知

2.7 資料分享

注：資料服務概述 功能可將資料匯出為API形式，供其他系統呼叫。

可將資料匯出為檔案形式進行儲存；詳情請參見：檔案匯出算子功能說明、文件传输功能说明

2.8 內容擴展

1）當進行定時任務開發時，能夠提示來源端資料表的 DDL 變化，並且將變化通知給指定使用者。詳情請參見：定時任務DDL同步

2）更多實際應用請參見（多節點、算子配合使用實現複雜場景；API取數最佳實踐；與FR、BI、簡道雲配合使用案例等）：最佳实践合集

3）支援基於資料血緣關係回溯整個資料的生產程式，在修改資料表時，能夠知曉影響範圍。詳情請參見：血緣分析

4）提供 Web 端 庫表管理 功能，視覺化管理各資料源資料；針對性搜尋庫表內容，快速瞭解資料情況。

使用者需要將定時任務的開發編輯區和運作區隔離，所有定時任務的修訂和更改透過在開發編輯區完成除錯和試運作後，透過發佈機制，發佈到穩定的運作環境，保證開發和運作互不影響。

詳情請參見：開發模式與生產模式

注：資料同步於資料轉換的差別請參見：資料同步與資料轉換的差別

5.1 多種調度策略自由組合，滿足個性化調度需求

提供按照時間週期，按事件依賴關係，觸發式三種模式的調度策略，支援不同策略的靈活組合，滿足不同場景的調度需要。

詳情請參見：調度計劃

5.2 單個任務支援設定優先

可根據業務資料重要程度設定優先，以及日誌明細級別，重要業務重點保障。

詳情請參見：任務控制-任務屬性

5.3 任務運作提供故障容許度機制

FineDataLink提供逾時中斷、任務失敗後自動重跑、以及髒資料容忍等故障容許度機制，當遇到網路波動或少量髒資料等可控的風險，平台將自動執行重試機制，保障資料任務正常運轉。

詳情請參見：任務控制-故障容許度機制

5.4 任務執行失敗進行通知

任務執行失敗後，可通知相關人員任務執行失敗。

• 通知渠道：平台、郵件、簡訊、釘釘群機器人、飛書群機器人、企業微信群機器人。

• 通知內容：任務異常通知、髒資料通知、源表結構變化通知。

詳情請參見：任務控制-結果通知

5.5 避免任務誤刪，提供回收站功能

回收站支援對「資料開發>定時任務」、「資料管道」、「資料服務」中已經刪除的任務進行資源還原、徹底刪除等。

詳情請參見：回收站

1）實時進行任務維運監視管理，可查看定時任務的運作狀態、任務耗時、觸發方式等；支援重試定時任務（適用於補資料場景；出現髒資料導致寫入失敗，髒資料解決後，再次執行任務場景）。

詳情請參見：運作記錄

2）支援為多個/單個定時任務設定執行頻率、修改和刪除任務的執行頻率；支援為多個/單個定時任務設定事件調度、修改和刪除任務的事件調度。

詳情請參見：調度計劃

3）支援查看定時任務數量和任務調度狀態以及調度執行情況；可批量設定結果通知。

詳情請參見：任務管理

4）在獨立部署時，可控制定時任務所佔用的記憶體資源。

4.1.4 之前版本請參見：定時任務維運-資源控制；4.1.4 以及之後的版本詳情參見：負載分配

定時任務模組權限說明如下：