1.1 問題描述

由於 FineDataLink 中定時任務需要佔用記憶體和併發資源等，因此使用者可能需要根據實際的使用情況進行任務調整。

閱讀此部分，你可以解決和理解如下問題：

• 問題一：如何配置定時任務的併發數？

• 問題二：為什麼我的定時任務跑的比較慢，實際運作的併發數不夠？

• 問題三：為什麼我的定時任務併發數配置的很高，但是任務運作速度仍然很慢？

1.2 解譯說明

最多能啟動的定時任務數量。

1.2.1 4.1.4 及之後版本

併發數詳細說明參見：併發控制

為了提高定時任務的效率，可以適當調整任務的併發數，以縮短資料搬遷需要的時間。在產品中配置位置如圖所示：

1.2.2 4.1.4 之前版本

FDL 能同時執行的任務數跟 cpu 的執行緒數有關，預設是 cpu 執行緒數的 1/2 。假如 cpu 執行緒數為 8，FDL 則可以同時執行 4 個定時任務，若定時任務數有 5 個，另外一個需要佇列。

1.3 任務併發數配置最佳實踐

• 任務併發數越大，任務運作需要搶佔的資源越多，，即前面提交任務先搶佔資源運作，後提交的任務後搶佔資源運作。建議合理配置任務併發數，避免大併發任務長時間運作，進而阻擋後續任務獲得資源得到執行。

• 小資料量的資料表建議配置小併發，小併發需要的執行資源比較少，有利於任務快速搶佔碎片資源得到運作。由於資料量比較小執行耗時可以控制在合理的範圍內。

• 同一個資料源上定時任務，建議錯峯運作，可以降低對資料源存取的併發壓力。

髒資料容忍功能詳情參見：髒資料容忍

2.1 問題描述

閱讀此部分，可以解決和理解如下問題：

• 問題一：什麼是定時任務的髒資料？

• 問題二：如何配置定時任務髒資料限制？

2.2 解譯說明

髒資料臨界值容忍能力用來控制任務在遇到髒資料時的行為，髒資料是指資料條目在寫入目標資料源程式中發生了異常，則此筆資料被視為髒資料。

以下為定時任務髒資料出現的情況：

1）與目標欄位配置不匹配而無法寫入的資料（目標欄位長度/類型不匹配、目標欄位缺失、違反目標欄位非空約束等）。

2）當寫入方式-主鍵衝突策略為「主鍵相同，記錄為髒資料」時，主鍵衝突的資料將被視為髒資料。

由於各類異構系統對資料處理的複雜和差異性，目前寫入失敗的資料均被分類於髒資料。

目前定時任務在進行「任務控制」時，支援髒資料臨界值限制能力，對於支援髒資料臨界值限制的配置：

常見配置場景介紹如下：

• 不配置髒資料容忍：表示不容忍所有出現的髒資料，只要遇到髒資料就會導致任務失敗。

• 配置髒資料限制為一個正整數N：表示最多容忍N條髒資料，在髒資料超過N條時，任務會失敗跳出；任務執行程式中，髒資料不會寫入到目標表。

2.3 最佳實踐

• 關連式資料庫（MySQL、SQL Server、PostgreSQL、Oracle、ClickHouse 等對於資料要求比較敏感的場景，建議不配置髒資料容忍，以即時發現資料品質風險。

• 對於資料要求不敏感的場景，可以配置髒資料限制，或者配置一個業務上合理的髒資料臨界值上限，以降低日常髒資料處理維運負擔。

• 關鍵任務配置任務失敗和延遲警報，以即時發現線上問題。

3.1 查看髒資料條數及原因

定時任務運作時，若存在髒資料，日誌中將會報錯。如下圖所示：

「統計」Tab頁下，可看到髒資料具體條數，點選條數，可看到錯誤類型和錯誤原因。如下圖所示：

3.2 髒資料常見原因及方案

3.3 處理髒資料

找到造成出現髒資料的原因並解決後，可重試任務。詳情請參見：重試任務

定時任務運作程式中，若遇到髒資料，髒資料不會寫入到目標表中，但正常的資料會順利寫入到目標表中。

產生髒資料後，重試的處理場景：