1. 概述
1.1 版本
| FineDataLink 版本 | 功能變動 |
|---|---|
| 1.9 | - |
| 4.1.9.3 | 支援「Kettle呼叫」節點 |
| 4.2.0.3 | 定時任務中資料預覽介面中：
詳情請參見：定時任務資料預覽優化 |
1.2 歷史版本
| FineDataLink 版本 | 功能變動 |
|---|---|
| 4.0.14 | 滑鼠懸浮至節點列表，會出現節點的用法解譯，使用者可快速查看當前節點用法 |
| 4.0.28 | 新增「Python腳本」節點，支援直接呼叫 Python 腳本 |
| 4.0.29 | 新增「Bat 腳本」節點，支援呼叫遠端 Windows 環境中的 Bat 腳本檔案 |
| 4.1.5.5 | 新增「檔案傳輸」節點，在APIAPI/本地/SFTP/FTP之間進行檔案下載/上傳，實現檔案行動 |
| 4.1.6.3 | 定時任務禁止被多人同時編輯 |
| 4.1.9.1 | 「資料同步-DB輸入SQL輸入框」、「資料同步-API-body」、「SQL腳本」、「參數指派-DB輸入SQL輸入框」、「DB輸入算子-SQL輸入框」、「API輸入算子-body」、「Spark SQL算子」、「Python算子」中支援自動聯想參數 |
1.2 功能簡介
「定時任務」模組支援在視覺化介面使用各個節點和算子進行資料的抽取、轉換和裝載，並可以透過排程管理功能自動運作定時任務，幫助您輕鬆構建離線數倉，保證資料生產的高效穩定。
注：定時任務部分相關概念說明詳情參見：定時任務概念
2. 功能說明
2.1 定時任務主要功能
注：4.1.7.3 及之後版本，定時任務支援開發模式和生產模式，實現程式碼的隔離；開發模式的任務可一鍵發佈上線，將任務發佈為生產模式。詳情請參見：開發模式與生產模式
| 類型 | 描述 |
|---|---|
| 資料源 | FineDataLink 資料開發>定時任務模組支援多種資料源，可以將多種來源資料進行資料處理和整合 詳情請參見：定時任務支援的資料源 |
| 任務管理 | 定時任務中透過「定時任務」存放設計好的業務流程 透過「資料夾」對定時任務進行管理 |
| 任務開發 | 能力豐富：
操作簡單：
體驗完善： |
| 任務調度 | 任務控制： 支援設定任務逾時限制；是否失敗重跑 支援設定調度任務優先；支援設定任務髒資料容忍情況；支援任務結果通知；支援設定任務日誌等級 調度計劃： 支援設定調度任務的開始日期、執行頻率。 支援設定任務的調度依賴，例如設定任務 A、任務 B 執行成功後再執行任務 C 詳細說明： |
| 任務維運 | 支援靈活調度、運作狀態實時監視，方便的操作將會釋放維運人員巨大的工作量 詳細介紹請參見：批量定時任務維運概述 |
| 其他 |
|
2.2 節點介紹
FineDataLink 資料開發>定時任務模組提供多種類型的節點，多種節點配合使用，滿足您不同的資料處理需求。
節點是組成定時任務的基本單位，多個節點透過線條連結後可確定執行流程，進而組成一個完整的定時任務。FineDataLink 目前有如下節點：
| 分類 | 說明 | 節點名稱 | 應用場景 |
|---|---|---|---|
| 通用 | 用於資料同步 | 資料同步概述 | 將資料從一個資料庫抽取到另一個資料庫 |
| 用於複雜資料清理計算 | 資料轉換概述 | 可執行資料聯動、同步刪除資料等操作 | |
| 多種類型的下載/上傳檔案 | 檔案傳輸功能說明 | 在APIAPI/本地/SFTP/FTP之間進行檔案下載/上傳，實現檔案行動 注：僅對檔案流本身做同步，而非取檔案內容資料。 | |
| 資料同步與資料轉換的差別請參見：資料同步與資料轉換的差別 | |||
| 腳本 | 透過控制腳本文法實現資料處理 | SQL腳本 | 寫 SQL 語句對資料庫中的資料進行處理 |
| Shell腳本 | 透過執行 shell 腳本，對接外部的獨立資料處理程式，例如呼叫Kettle任務、呼叫Python計算任務等 | ||
| Python腳本 | 支援直接呼叫 Python 腳本 | ||
| Bat腳本 | 支援呼叫遠端 Windows 環境中的 Bat 腳本檔案 | ||
| Kettle呼叫插件 | 使用SSH連結，呼叫指定路徑下的 kettle 任務 | ||
| 流程 | 進行復雜邏輯處理的流程節點 | 參數指派節點 | 用參數承載上游節點運作的結果，然後在下游節點中使用該結果 |
| 條件分支 | 基於一個來自於上游或者系統的條件，判斷是否繼續運作下游節點或者運作下游節點裏面的哪一個 | ||
| 虛擬節點 | 希望多個節點可以並行運作後再轉到下游節點，可藉助該節點實現 | ||
| 呼叫任務 | 可以在當前任務中呼叫其他任務，這樣可以直接設定任務間執行的依賴關係，實現跨任務編排 | ||
| 訊息通知 | 可將任務調度結果以企業微信群機器人/郵件/釘釘/簡訊的形式通知給指定使用者 | ||
| 循環容器邏輯說明 | 可滿足循環取數的場景 | ||
| 其他 | 任務備註說明 | 備註 | 需要為節點或任務新增備註，例如在任務中備註該任務的具體使用場景。 |
滑鼠懸浮至節點列表，會出現節點的用法解譯，使用者可快速查看當前節點任務用法。如下圖所示：
2.3 操作流程
| 順序 | 說明 | 文檔 |
|---|---|---|
| 1 | 配置定時任務設計時，資料讀取和資料寫入的資料源 | 建立並管理資料源 |
| 2 | 建立定時任務，並進行定時任務的開發 | 參考各節點功能文檔 |
| 3 | 透過手動執行任務，根據任務運作日誌進行任務除錯 | |
| 4 | 發佈任務 | 開發模式與生產模式 |
| 5 | 設定定時任務調度執行情況 | |
| 6 | 對已經設定的定時任務進行任務管理和資源控制 |
3. 內容擴展
| 分類 | 說明 | 參考文檔 |
|---|---|---|
| 設計任務前需知 | 瞭解定時任務模組能做什麼 | 定時任務能力說明 |
| 瞭解 FDL 中可使用的快捷鍵 | FineDatalink快捷鍵介紹 | |
| 設計任務時需知 | 定時任務支援讀取、建立、寫入分割槽表 | 讀取、建立、寫入分割槽表 |
| 當進行定時任務開發時，能夠提示來源端資料表的 DDL 變化，並且將變化通知給指定使用者 | 定時任務DDL同步 | |
| 定時任務中，支援呼叫資料庫儲存程式 | 定時任務呼叫資料庫儲存程式 | |
| 定時任務設計區域中，支援單個/多個節點的複製貼上 | 節點支援複製貼上 | |
| 支援在設計定時任務時，為節點或任務新增備註 | 備註 | |
| 使用者希望定時任務執行失敗後，可以自訂錯誤處理流程。比如定時任務執行失敗後，在企業微信群中通知 | 遠端執行判斷 | |
| 除錯任務需知 | 支援設定節點時，選擇運作到此處，便於查看上游配置結果和除錯 | 運作至此節點 |
| 4.1.6.3 及之後版本，定時任務禁止被多人同時編輯 | 任務禁止被多人同時編輯 | |
| 支援禁用節點及下游節點 | 節點支援禁用 | |
視覺化展示父子任務層級呼叫關係，使用者可查看該定時任務被哪些任務呼叫，以及該任務呼叫了哪些任務 視覺化展示任務間調度依賴關係，輔助事件調度決策 | 任務關係 | |
| 使用者有多名開發人員，為防止自己的定時任務被他人誤操作修改，希望能對定時任務進行版本追溯和退回原任務設定，降低工作量返工 | 定時任務版本管理 | |
| 其他功能說明 | FineDataLink 支援將定時任務從 A 系統中匯出並匯入至 B 系統 | 定時任務匯入匯出 |
FineDataLink 支援在「資料轉換概述」的輸入型算子中進行「樣本設定」，即在預覽介面，設定用多少資料去參與運算，便於進行計算後的預覽結果校驗。 | 定時任務資料量說明 | |
| 最佳實踐 | 多節點、算子配合使用實現複雜場景；API取數最佳實踐；與FR、BI、簡道雲配合使用案例等 | 最佳實踐合集 |