1. 概述
「資料開發>定時任務」模組支援在視覺化介面使用各個節點和算子進行資料的抽取、轉換和裝載，並可以透過排程管理功能自動運作定時任務，幫助您輕鬆構建離線數倉，保證資料生產的高效穩定。
本文為您說明「定時任務」模組的能力。
2. 多源異構資料高效整合、處理
2.1 任意終端到任意終端
2.1.1 功能說明
詳情請參見：定時任務支援的資料源範圍
第一欄和第二列的資料源可以任意排列組合，例如：讀取檔案類型資料，資料經過處理後（選做），儲存到資料庫
| 支援讀取的資料源 | 支援寫入的資料源 | 備註 |
|---|---|---|
| 資料庫 | 資料庫 | - |
API類型資料（API、WebService） | API類型資料（API） 暫不支援寫入 WebService | FDL 中 API 相關功能請參見：API专题 |
| 檔案資料（CSV、Excel、txt等） | 檔案資料（CSV、Excel、txt等） | FDL 中檔案資料相關功能請參見：对接文件数据专题 |
| BI公共資料 | BI公共資料 | 数据集输出 |
| 伺服器資料集 | 不支援伺服器資料集 | - |
| 大數據平台（SAP HANA、Impala、Greenplum等） | 大數據平台（SAP HANA、Greenplum、ClickHouse等） | - |
連結器（簡道雲、SAP RFC） | 連結器（簡道雲） 暫不支援寫入SAP RFC | 簡道雲資料處理請參見：对接简道云专题 |
2.1.2 其他說明
| 分類 | 說明 |
|---|---|
| 來源端讀取多張表資料 | 1）上下合并、資料聯動 算子中，支援將兩張不同的表資料進行合並 2）SQL脚本 中，支援寫 SQL 語句處理多張表資料 |
| 資料匯出到多張表★★★★★ | 数据分发 功能，支援將處理好的資料，儲存到多張表。如下圖所示：
|
| 讀取、建立、寫入分割槽表 | 大數據量的資料儲存場景下，為提高查詢效能，許多資料庫都提供了分割槽表的功能，希望 FDL 可以讀取、建立、寫入分割槽表。詳情請參見：讀取、建立、寫入分割槽表 |
| 呼叫資料庫儲存程式 | 定時任務中，支援呼叫資料庫儲存程式。詳情請參見：定時任務呼叫資料庫儲存程式 |
| 定時任務相關API支援被呼叫★★★★★ | 詳情請參見：调用定时任务相关接口说明 |
| 支援將資料寫入到 FineBI 「公共資料」指定目錄下★★★★★ | 詳情請參見：数据集输出 |
2.2 任意結構轉化為任意結構
結構化資料、半結構化資料、非結構化資料之間可以任意轉換。
範例：
2.3 资料清理
針對原始資料進行清洗，統一資料口徑。
| 分類 | 說明 | 參考文檔 |
|---|---|---|
| 资料清理★★★★★ | 可對資料進行處理的節點、算子★★★★★ | 節點介紹 |
| 资料清理專題 | 多流資料合併、運算專題 | |
| 「Spark SQL」算子中支援使用的文法 | SparkSQL文法概述 | |
| 處理資料的函式說明 |
2.4 資料更新
資料更新方式為三種：增量更新、全量更新、比對更新，具體實現方案請參見：資料同步方案概述
注：可使用 数据比对功能说明 ，進行資料的一致檢查，即對比來源和目標資料的一致。
2.5 資料融合
針對不同類型的異構資料進行融合，完成資料聯動、維度建模，具體功能可參見：上下合并、資料聯動、SQL脚本、Spark SQL
2.6 數據預警
關鍵業務資料，達到臨界值情況下即時提醒，具體功能可參見：訊息通知
定時任務運作失敗也可進行提醒，具體請參見：任務控制-結果通知
2.7 資料分享
注：資料服務概述 功能可將資料匯出為API形式，供其他系統呼叫。
可將資料匯出為檔案形式進行儲存；詳情請參見：檔案匯出算子功能說明、文件传输功能说明
2.8 內容擴展
1）當進行定時任務開發時，能夠提示來源端資料表的 DDL 變化，並且將變化通知給指定使用者。詳情請參見：定時任務DDL同步
2）更多實際應用請參見（多節點、算子配合使用實現複雜場景；API取數最佳實踐；與FR、BI、簡道雲配合使用案例等）：最佳实践合集
3）支援基於資料血緣關係回溯整個資料的生產程式，在修改資料表時，能夠知曉影響範圍。詳情請參見：血緣分析
4）提供 Web 端 庫表管理 功能，視覺化管理各資料源資料；針對性搜尋庫表內容，快速瞭解資料情況。
3. 開發與運作互不影響
4. 畫布式開發模式：開發高效、維護簡單
注：資料同步於資料轉換的差別請參見：資料同步與資料轉換的差別
| 分類 | 說明 |
|---|---|
| 步驟流 |
步驟流範例：
|
| 資料流 |
資料流可靈活滿足所有资料清理和轉換場景：
|
5. 單個定時任務管理
5.1 多種調度策略自由組合，滿足個性化調度需求
提供按照時間週期，按事件依賴關係，觸發式三種模式的調度策略，支援不同策略的靈活組合，滿足不同場景的調度需要。
詳情請參見：調度計劃
5.2 單個任務支援設定優先
可根據業務資料重要程度設定優先，以及日誌明細級別，重要業務重點保障。
詳情請參見：任務控制-任務屬性
5.3 任務運作提供故障容許度機制
FineDataLink提供逾時中斷、任務失敗後自動重跑、以及髒資料容忍等故障容許度機制，當遇到網路波動或少量髒資料等可控的風險，平台將自動執行重試機制，保障資料任務正常運轉。
詳情請參見：任務控制-故障容許度機制
5.4 任務執行失敗進行通知
任務執行失敗後，可通知相關人員任務執行失敗。
通知渠道：平台、郵件、簡訊、釘釘群機器人、飛書群機器人、企業微信群機器人。
通知內容：任務異常通知、髒資料通知、源表結構變化通知。
詳情請參見：任務控制-結果通知
5.5 避免任務誤刪，提供回收站功能
回收站支援對「資料開發>定時任務」、「資料管道」、「資料服務」中已經刪除的任務進行資源還原、徹底刪除等。
詳情請參見：回收站
6. 批量定時任務維運
1）實時進行任務維運監視管理，可查看定時任務的運作狀態、任務耗時、觸發方式等；支援重試定時任務（適用於補資料場景；出現髒資料導致寫入失敗，髒資料解決後，再次執行任務場景）。
詳情請參見：運作記錄
2）支援為多個/單個定時任務設定執行頻率、修改和刪除任務的執行頻率；支援為多個/單個定時任務設定事件調度、修改和刪除任務的事件調度。
詳情請參見：調度計劃
3）支援查看定時任務數量和任務調度狀態以及調度執行情況；可批量設定結果通知。
詳情請參見：任務管理
4）在獨立部署時，可控制定時任務所佔用的記憶體資源。
4.1.4 之前版本請參見：定時任務維運-資源控制；4.1.4 以及之後的版本詳情參見：負載分配
7. 企業級權限管控，滿足不同層級權限要求
定時任務模組權限說明如下：
| 文檔 | 說明 |
|---|---|
| 數據連接權限概述 | 擁有某資料連結的使用權限，次管登入後可使用該資料連結建立定時任務、管道任務、API任務等 擁有某資料連結的管理權限，次管登入後可在「管理系統>資料連結>資料連結管理」中，對該資料連結進行復制、重新命名、修改、刪除等操作 擁有某資料連結的授權權限，次管登入後可在「管理系統>權限管理」中，將該資料連結的相應權限分配給可管理的使用者 |
| 資料平台使用權限 | 在 FineDataLink中，管理者希望將「資料開發>定時任務」、「資料管道」、「資料服務」、「庫表管理」功能的使用權限分配給其他使用者：
|
| 資料平台授權權限 | 超級管理者可以給予某個物件資料平台的授權權限，使該物件將成為一個次級管理者 次級管理者可以給下級成員分配「資料平台」下模組的使用權限 |
| 定時任務管理權限 | 為普通使用者分配「定時任務」中指定的資料夾和定時任務的查看和編輯權限 |
| 定時任務授權權限 | 超級管理者可以給予某個物件「定時任務」的授權權限，使該物件將成為一個次級管理者 次級管理者可以給下級成員分配「定時任務」的管理權限，使他下級的成員可以查看和編輯定時任務 |
