1. 概述
1.1 版本
| FineDataLink版本 | 功能變動 |
|---|---|
| 4.1.4 | - |
| 4.2.1.4 | 資料檢查支援設定併發數 |
| 4.2.4.3 | 實時任務和管道任務合併為實時模組 |
1.2 應用場景
由於 FineDataLink 中定時任務、管道任務和資料服務運作都需要佔用記憶體和併發資源等，因此使用者可能需要根據實際的使用情況進行任務調整。
1.3 功能說明
FineDataLink 提供對定時任務、實時任務、管道任務、資料服務進行獨立的資源控制。
允許使用者在「管理系統>智慧維運>負載管理」下的「負載分配」中進行資源控制。
注1：對於管道任務、定時任務、實時任務，任務運作同時受記憶體和併發的限制，只要有一個不滿足則任務報錯或者提示。
注2：使用者有「管理系統>智慧維運」的使用權限，即可使用「負載管理」功能，詳情請參見：負載管理使用權限
| 任務類型 | 設定項 | 設定邏輯 | 說明 |
|---|---|---|---|
| 定時任務 | 記憶體限制 | 指定定時模組最大記憶體佔用比例 | 控制併發同步表數 |
| 併發限制 | 指定最大併發數 | 控制併發同步最大的表數 | |
| Spark記憶體限制 | Spark記憶體佔用比例 注：預設佔系統和組件預留記憶體的 75% | 影響計算複雜度和計算速度 | |
實時模組 控制實時任務和實時管道的記憶體資源和併發資源 | 記憶體限制 | 指定最大記憶體佔用比例，其中實時任務預設256M 4.1.13.4 及之後的版本可透過修改 FineDB 配置調整，詳細修改方式請聯絡帆軟技術支援（技術支援聯絡方式：前往「服務」，選擇「線上支援」、電話「400-811-8890」） | |
| 併發控制 | 指定最大併發數，其中實時任務預設4並發 | ||
| 資料服務 | 記憶體限制 注：暫不生效，待優化。 | 指定資料服務模組最大記憶體佔用比例 | 控制併發量和單次傳回資料量 |
| 資料檢查 | 併發控制 | 指定最大併發數 | 控制併發任務數 |
2. 相容說明
2.1 記憶體限制
4.1.4 版本升級前後「記憶體限制」變化如下：
獨立部署中如果設定了「記憶體限制」，此配置失效，若需要再次修改記憶體限制，請聯絡技術支援。
2.2 併發控制
如果使用者在 4.1.4 之前的版本進行了併發任務數的修改，則在升級後，原先的併發設定失效，需要重新在負載分配-併發控制中進行設定。
3. 記憶體分配
3.1 功能說明
使用者可在記憶體分配下調整各個模組的記憶體佔比。
| 序號 | 說明 |
|---|---|
| A | 顯示單機環境總記憶體 顯示能夠進行開發、管道、服務任務配置的內存 注：可配置記憶體範圍為總記憶體的10%-記憶體總量的60%，例如環境總記憶體為2G，則可配置的記憶體範圍為 0.2-1.2G。 |
| B | 定時任務可分配的記憶體量 |
| C | 實時任務和管道任務可分配的記憶體量 |
| D | 資料服務可分配的記憶體量 |
| E | 共享空間記憶體量，即綠色橫條，如果單個模組使用記憶體超過配置上限，則可在共享空間競爭取用空間。 |
| F | 可配置記憶體範圍為總記憶體的10%-總記憶體的60% 且系統和組件預留記憶體空間為 40%總記憶體，因此表示可分配記憶體範圍的上下限。 注：其中定時任務 Spark記憶體預設佔系統和組件預留記憶體的 75%。 |
| G |
注1：若為叢集環境，則展示所有節點的可用記憶體。
注2：當前版本資料管道佔用記憶體估算預設上限1G，估算超過1G也按1G來計算。
點選右上角的編輯按鈕後即可拖動配置記憶體佔比，如下圖所示：
注：拖動共享空間時，四個模組是等比縮減的，但是單個模組最低為1%；拖動各模組時，就是只修改拖動條兩邊模組的大小。
3.2 使用場景
例如使用者在運作定時任務時出現如下報錯，表示超出記憶體限制：
此時需要調大「資料開發」模組的記憶體佔比，如下圖所示：
若使用者在管道任務啟動時，提示任務超出記憶體限制，如下圖所示：
則可以使用記憶體分配，調大實時模組的記憶體比例。
4. 併發控制
4.1 功能說明
使用者可在併發控制下調整「定時任務」、「實時模組」、「資料檢查」模組的任務併發數。
| 序號 | 說明 |
|---|---|
| A | 顯示 FineDataLink CPU 核數、可配置總併發數 注：總併發數為CPU 核數*N，N預設值是10。 若為叢集環境，則展示所有節點的最大併發數，比如：節點1最大併發數Y；節點2最大併發數Y |
| B | 可透過滑動調整併發數，每0.5為最小調節單位。 最大併發數可調節範圍為： 0.5倍CPU核心數≤（管道+定時）併發數<=9.5倍CPU核心數 叢集的情況下，展示各節點的CPU數，但是各個節點必須統一配置。 資料開發併發數： 實際執行的資料同步/資料轉換/參數指派的併發數，同時受資料同步/資料轉換/參數指派「執行緒池」和「併發控制」限制，取二者最小值。 資料同步/資料轉換的執行緒池：預設值 1*資料開發總併發數 其他定時任務節點（SQL、Shell、bat和python節點）不會受併發控制的限制，它們只受自身執行緒池的限制。 實時模組併發數包含資料管道併發數和實時任務併發數 資料管道併發數：管道寫入執行緒池預設佔用 0.25*管道總併發數，最低為8；一個管道任務需要佔用 4個併發數。 可用併發數為：分配的併發控制數-管道寫入執行緒池佔用併發數 例如管道一共30個執行緒，預設是8個，則剩餘22個執行緒，且由於一個管道任務需要佔用 4個併發數，因此還可以配置 5 個管道任務。 實時任務併發數：實時單任務運作資源檢查4併發，注意負載分配預留充足的運作資源。 資料檢查併發數：預設0，使用者需要手動調整才可使用；一個資料檢查任務佔用一個併發 |
點選右上角的編輯按鈕後即可拖動配置最大併發數，如下圖所示：
4.2 使用場景
例如在運作管道任務時，若超過記憶體限制，則在任務啟動時進行提示，如下圖所示：
此時可以透過配置併發控制調大實時模組併發數，如下圖所示：
注：定時任務如果併發超出限制，則會在日誌中進行提示，如下圖所示：