单个实时任务管理

注：資料開發中實時任務當前屬於內測階段，如需試用或者瞭解詳細資訊，請聯絡技術支援 :帆軟官方服務渠道使用説明

1.1 版本

1.2 功能說明

FineDataLink 支援對實時任務進行管理、監視，查看任務運作情況，快速查看髒資料。

重置啟動：

初始化任務，按照輸入算子的同步方式，從頭開始同步。

啟動：

從上次暫停的位置啟動，暫停時間段中的資料變化都會補充。

參數列表：

與定時任務中的自訂參數（靜態參數）一致。

任務控制：

1）任務控制-故障容許度機制（不支援逾時限制）

重試邏輯：重試整個實時任務

2）任務控制-結果通知

3）任務控制-任務屬性-日誌等級設定

4）任務控制-任務屬性-進階屬性

任務可用記憶體參數：

可以透過設定修改單個實時任務的記憶體，在任務編輯介面輸入參數 taskMemoryLimit，值為需要設定的記憶體，最小為 20 ，單位 M，如下圖所示：

在啟動任務後會看到單個實時任務的記憶體修改為 20 M，如下圖所示：

任務運作時，從分配給實時任務的總運作記憶體中，扣除相應的記憶體資源，例如實時總記憶體 500 M，給一個任務分配了50M，那麼其他任務運作檢查時剩餘可用就是 450。

通道資料條數上限：

1）5.0.6.4 版本，新增參數taskChannelSizeLimit，值為 int 類型，預設值為 8196，表示在記憶體允許的情況下，單一通道最多能快取 8196 筆資料。

2）需要基於客戶的單筆資料的大小，調整「單個通道資料量上限」：

• 如果單筆資料大，則將「單個通道資料量上限」設小點，避免單個通道佔滿任務記憶體，導致下游通道阻擋。

• 如果單筆資料小，則將「單個通道資料量上限」設大一點，避免所有通道加起來無法佔滿任務記憶體，導致記憶體利用率低。

3）範例：

通道數=執行儲存格數-1（執行儲存格數可到實時任務的「統計」Tab下看）

• 單行資料 200 KB，設定單任務記憶體 500 MB，通道資料條數上限 100 ，預計佔用記憶體200KB*100*2通道=40MB，實際佔用記憶體應為40MB+；此時所有通道加起來無法佔滿任務記憶體，會導致記憶體利用率低，需要將「單個通道資料量上限」設大一點。

• 單行資料 200 KB，設定單任務記憶體 500 MB，通道資料條數上限 8000，預計佔用記憶體200KB*8000*2通道=2100MB，實際佔用應達記憶體上限500MB；此時單個通道佔滿任務記憶體，下游通道會阻擋，需要將「單個通道資料量上限」設小點。

任務資訊：

顯示實時任務的任務id、所屬目錄、建立人、建立時間、最近編輯時間（4.2.16.2 版本新增）、首次啟動時間。

實時任務可放在資料夾中進行管理。

支援在實時任務列表中，修改實時任務的名稱、描述，行動/複製/匯出/刪除實時任務、收藏/取消收藏實時任務（4.2.16.2 版本新增）。

注：5.0.10.1 及之後版本，支援匯入 單個實時任務、批量匯入匯出實時任務。

4.1 日誌管理

在任務運作狀態或者暫停狀態下，可以根據「髒資料」、「運作結果」、「啟動時間」、「結束時間」進行篩選，查看任務運作的具體日誌，如下圖所示：

啟動方式：

• 啟動：按照任務的狀態進行啟動

• 重置啟動：清空任務所有的狀態，按照輸入算子的同步方式，從頭開始同步。

4.2 日誌

詳情參見：實時任務運作日誌介紹

4.3 統計

注：如果存在 json 解析，分流等場景，會有1：N的情況出現，導致匯出遠大於輸入。

4.3.1 每秒匯出資料量

意義：

查看任務中每個執行儲存格的匯出速度，用於觀察哪個執行儲存格是否造成效能阻塞。

當執行儲存格的上游執行儲存格的背壓比較大，且該執行儲存格的每秒處理數量較小時，說明是該執行儲存格的處理速度較慢

1）當包含輸入算子的執行儲存格長期無背壓，並且它每秒匯出數量小於源端每秒產生的數量時，說明是輸入源讀取資料的速度較慢

2）當包含匯出算子的執行儲存格的上游執行儲存格的長期背壓時，並且它每秒匯出數量較小時，說明是匯出源匯出資料的速度較慢

3）當該執行儲存格本身的背壓也比較大時，說明可能是下游執行儲存格的處理速度較慢

定義：

執行儲存格每秒匯出資料的數量

• 「維度表輸入」不支援該功能

• 每一秒記錄一條明細資料，記錄該執行儲存格當前時間點，累計匯出數量。

可以按照執行儲存格和時間查看每秒匯出資料量，如下圖所示：

同時如果任務正在運作中，可以暫停自動重新整理，暫停後每秒匯出資料圖表將停止重新整理，如下圖所示：

4.3.2 輸入數量

意義：

查看任務中每一個執行儲存格的輸入數量，用於查看是否與上游執行儲存格的匯出數量是否一致，排查算子間處理是否丟資料。

定義：

執行儲存格自當前啟動以來輸入數量。

• 記錄一筆資料即可

• 取值：會取自啟動以來輸入數量。

4.3.3 匯出數量

意義：

查看任務中每一個執行儲存格的匯出數量，用於幫助開發使用者理解執行儲存格的處理邏輯，並確定是否符合自己的預期。

定義：

執行儲存格自當前啟動以來匯出的數量

• 記錄一筆資料即可

• 取值：自啟動以來匯出的數量

4.3.4 背壓

意義：

代表每個執行儲存格受下游執行儲存格處理速度的影響水平。

如果背壓較大，說明當前執行儲存格處理速度大於下一個執行儲存格的處理速度，效能阻擋主要出在下一個執行儲存格。

如果背壓較小，說明當前執行儲存格的處理速度與下一個執行儲存格的處理速度差不多，兩個執行儲存格沒有效能阻擋。

定義：

執行儲存格是否存在背壓。

• 不存具體的資料；

• 按照實時運作情況，顯示執行儲存格是否存在背壓。

4.4 效能指標

4.4.1 延遲時間

展示一筆資料從源端產生，到資料被完成同步的整體延遲時間；MQTT 、IBM MQ 資料源不支援該指標。

1）時間範圍預設為最近 2 小時，可以自訂週期。

2）每 1min（自然時間），記錄一條明細資料。

3）取值邏輯：

• 從一分鐘內完成匯出資料的延遲時間中取達最大值。

• 有多個匯出端時，取最大值。

延遲時間作用：

查看任務同步速度情況，以此判斷是否滿足業務需求：

• 當處理時間較長時，說明任務在讀取資料、轉換資料、寫入到目標端中其中一個環節存在瓶頸。

4.4.2 使用記憶體

在任務運作狀態中，可以根據根據時間查看單個任務實際使用記憶體情況，如下圖所示：

• 每1min，記錄一條明細資料

• 取值：從一分鐘內取實際使用記憶體的最大值

作用：

1）判斷分給當前任務的記憶體是否足夠

• 如果調大任務的記憶體，可能會加快任務資料處理速度

• 如果資源比較緊張，可以適當調低當前任務的記憶體

當任務的整體的使用記憶體比較低，說明任務整體處理資料的速度，大於源端資料產生的速度；

當任務的整體的使用記憶體較高時，說明任務整體處理資料的速度，小於源端資料產生的速度。

2）預估整個實時任務模組需要多少記憶體。