概述
維運平台支援部署FineDataLink4.1專案。
本文按照資料開發定時任務數、資料管道任務數、實時任務數劃分，提供多個標準方案，請按需選擇。
方案適用須知
本文方案適用於全新部署場景，基於各類業務用量推薦配置，業務管理者需要給出需要處理的任務個數並進行匹配。
本文方案基於單個業務庫資料（行*列）變更量≤100W/小時進行推薦，如資料變更量超出範圍，請聯絡帆軟技術支援以獲得進一步支援。
本文方案按照常見客戶規模提供資源建議。如任務數量超出推薦範圍，請聯絡帆軟技術支援以獲得進一步支援。
本文按照全新部署所有FineDataLink組件進行推薦。如自備部分組件（例如配置庫、檔案服務），可在對應伺服器刪減部分配置（方案中已詳細備註）。
隨着使用時間和用量的增長，如果現有伺服器資源不足，需要擴容，請聯絡帆軟技術支援以獲得進一步支援。
方案簡介
| 方案 | 適用客戶情況 | 伺服器配置簡介 |
|---|---|---|
| 最低配置 | 開發任務數＜35 不支援管道任務 | 僅面向業務用量極小的客戶，其中的維運平台應為基礎版而非標準版，不支援鏈路追蹤和健康觀測等監視指標 伺服器：CPU8核、記憶體16G、磁碟300G 部署「1fdl+1nginx內網關+1mysql配置庫」 部署「維運平台所有組件（不包括elasticsearch、skywalking_oap）」 |
| 方案一 | 開發任務數＜150 不支援管道任務 | 伺服器：CPU8核、記憶體32G、磁碟500G 部署「1fdl+1nginx內網關+1mysql配置庫」 部署「維運平台所有組件」 |
| 方案二 | 開發任務數＜300 管道任務數＜16 實時任務數＜20 | 伺服器：CPU16核、記憶體64G、磁碟2T 部署「1fdl+1kafka+1nginx內網關+1mysql配置庫」 部署「維運平台所有組件」 |
| 方案三 | 開發任務數＜500 管道任務數＜16 實時任務數＜40 | 1）FineDataLink主應用伺服器：CPU16核、記憶體64G、磁碟500G 部署「1fdl」 2）FineDataLink組件&維運平台伺服器：CPU8核、記憶體32G、磁碟2T 部署「1kafka+1nginx內網關+1mysql配置庫」 部署「維運平台所有組件」 |
| 方案四 | 開發任務數＜500*N 管道任務數＜16*N 實時任務數＜40*N | 1）N 台 FineDataLink 主應用伺服器 每一台要求：CPU16核、記憶體64G、磁碟500G 每一台部署「1fdl」 2）FineDataLink組件&維運平台伺服器：CPU8核、記憶體32G、磁碟2T 部署「1kafka+1nacos+1nginx內網關+1mysql配置庫」 部署「維運平台所有組件」 |
最低配置方案
該方案僅面向業務用量較小、伺服器資源緊張的客戶。
該方案部署的維運平台，只能是了解运维平台标准版与基础版，即不支援鏈路追蹤和健康觀測等監視指標。
包括一台伺服器：CPU8核、記憶體16G、磁碟300G
部署「1fdl+1nginx內網關+1mysql配置庫」
部署「維運平台所有組件（不包括elasticsearch、skywalking_oap）」
| 配置 | 伺服器要求 | |
|---|---|---|
| 安裝組件一覽 | 用於安裝FineDataLink和維運平台全部組件 1）FineDataLink組件作用可參考：瞭解維運專案組件作用 本方案不支援管道功能，因此不部署管道相關組件
2）維運平台組件作用可參考：瞭解維運平台組件作用 本方案不支援鏈路功能，因此不部署鏈路追蹤相關組件 如已安裝維運平台，請忽略
| |
| 伺服器基礎要求 | 不建議虛擬機 | 由於虛擬機自身的特性，會存在資源競爭等情況，可能導致出現預期外的系統故障，因此不建議在虛擬機中部署帆軟應用 |
| 作業系統 | 作業系統類型 | Linux |
| 作業系統架構 | X86_64 | |
| 作業系統核心 | 3.10版本及以上 | |
| 作業系統軟體 | 推薦：Ubuntu 22 版本 支援： Ubuntu 18.04.4 及以上版本（不支援 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS作業系統目前已停止服務，因此帆軟優先推薦使用Ubuntu作業系統 使用Ubuntu作業系統時，請注意檢查使用者權限（預設root使用者不是超管） | |
| CPU | CPU核數 | 8核 |
| CPU主頻 | 2.5GHz及以上 | |
| 記憶體 | 剩餘閒置物理記憶體 | 16G |
| 磁碟 | 剩餘閒置磁碟大小 | 伺服器中存在一個分割槽剩餘可用空間大於 300G 注：必須要有任一分割槽滿足條件，不可將分割槽容量加和 |
| 外掛目錄 | 準備外掛目錄 | 注：禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄，可在對應位置建立資料夾使用 |
| 檔案系統自動掛載 | 外掛目錄對應的檔案系統需要配置重啟自動掛載 如果沒有配置重啟自動掛載，那麼容器可能無法存取這些掛載目錄，導致資料丟失或應用程式無法正常啟動 | |
| 非共享路徑 | 外掛目錄不能是一個共享路徑 共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰，這些問題會影響容器應用程式的可靠性和速度 | |
| 權限與命令 | tar命令 | 確定伺服器已安裝tar命令 tar命令是一個用於打包和壓縮檔案的常用命令行工具 維運平台需要使用該命令進行檔案解壓 |
| sed命令 | 確定伺服器已安裝sed命令 sed命令是一個用於處理正文的工具 維運平台需要使用該命令進行正文處理 | |
| sudo權限 | 用於部署專案的伺服器使用者，必須具備相關sudo權限 1）優先推薦使用root超管使用者進行專案部署和運作 2）如需使用非超管root使用者進行專案的部署和運作 請參考文檔：Linux使用者權限說明 注：Ubuntu作業系統，預設root使用者並非超管使用者，請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限 | |
| 埠網路 | 內網時延 | <1ms |
| 伺服器內網帶寬（應用和業務資料庫間） | ≥100Mbps（12.5MB/s） | |
| 伺服器外網帶寬（專案與使用者用戶端間） | ≥10Mbps（1.25MB/s） | |
組件佔用埠 組件埠互通 | ||
方案一
伺服器：CPU8核、記憶體32G、磁碟500G
部署「1fdl+1nginx內網關+1mysql配置庫」
部署「維運平台所有組件」
| 配置 | 伺服器要求 | |
|---|---|---|
| 安裝組件一覽 | 用於安裝FineDataLink和維運平台全部組件 1）FineDataLink組件作用可參考：瞭解維運專案組件作用 本方案不支援管道功能，因此不部署管道相關組件
2）維運平台組件作用可參考：瞭解維運平台組件作用 如已安裝維運平台，請忽略
| |
| 伺服器基礎要求 | 不建議虛擬機 | 由於虛擬機自身的特性，會存在資源競爭等情況，可能導致出現預期外的系統故障，因此不建議在虛擬機中部署帆軟應用 |
| 作業系統 | 作業系統類型 | Linux |
| 作業系統架構 | X86_64 | |
| 作業系統核心 | 3.10版本及以上 | |
| 作業系統軟體 | 推薦：Ubuntu 22 版本 支援： Ubuntu 18.04.4 及以上版本（不支援 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS作業系統目前已停止服務，因此帆軟優先推薦使用Ubuntu作業系統 使用Ubuntu作業系統時，請注意檢查使用者權限（預設root使用者不是超管） | |
| CPU | CPU核數 | 8核 |
| CPU主頻 | 2.5GHz及以上 | |
| 記憶體 | 剩餘閒置物理記憶體 | 32G |
| 磁碟 | 剩餘閒置磁碟大小 | 伺服器中存在一個分割槽剩餘可用空間大於 500G 注1：必須要有任一分割槽滿足條件，不可將分割槽容量加和 注2：自備組件可以降低磁碟要求 如自備外接配置庫組件，伺服器剩餘閒置磁碟要求可降低50G |
| 外掛目錄 | 準備外掛目錄 | 注：禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄，可在對應位置建立資料夾使用 |
| 檔案系統自動掛載 | 外掛目錄對應的檔案系統需要配置重啟自動掛載 如果沒有配置重啟自動掛載，那麼容器可能無法存取這些掛載目錄，導致資料丟失或應用程式無法正常啟動 | |
| 非共享路徑 | 外掛目錄不能是一個共享路徑 共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰，這些問題會影響容器應用程式的可靠性和速度 | |
| 權限與命令 | tar命令 | 確定伺服器已安裝tar命令 tar命令是一個用於打包和壓縮檔案的常用命令行工具 維運平台需要使用該命令進行檔案解壓 |
| sed命令 | 確定伺服器已安裝sed命令 sed命令是一個用於處理正文的工具 維運平台需要使用該命令進行正文處理 | |
| sudo權限 | 用於部署專案的伺服器使用者，必須具備相關sudo權限 1）優先推薦使用root超管使用者進行專案部署和運作 2）如需使用非超管root使用者進行專案的部署和運作 請參考文檔：Linux使用者權限說明 注：Ubuntu作業系統，預設root使用者並非超管使用者，請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限 | |
| 埠網路 | 內網時延 | <1ms |
| 伺服器內網帶寬（應用和業務資料庫間） | ≥1000Mbps（125MB/s） | |
| 伺服器外網帶寬（專案與使用者用戶端間） | ≥10Mbps（1.25MB/s） | |
組件佔用埠 組件埠互通 | ||
方案二
伺服器：CPU16核、記憶體64G、磁碟2T
部署「1fdl+1kafka+1nginx內網關+1mysql配置庫」
部署「維運平台所有組件」
| 配置 | 伺服器要求 | |
|---|---|---|
| 安裝組件一覽 | 用於安裝FineDataLink和維運平台全部組件 1）FineDataLink組件作用可參考：瞭解維運專案組件作用
2）維運平台組件作用可參考：瞭解維運平台組件作用 如已安裝維運平台，請忽略
| |
| 伺服器基礎要求 | 不建議虛擬機 | 由於虛擬機自身的特性，會存在資源競爭等情況，可能導致出現預期外的系統故障，因此不建議在虛擬機中部署帆軟應用 |
| 作業系統 | 作業系統類型 | Linux |
| 作業系統架構 | X86_64 | |
| 作業系統核心 | 3.10版本及以上 | |
| 作業系統軟體 | 推薦：Ubuntu 22 版本 支援：
注：CentOS作業系統目前已停止服務，因此帆軟優先推薦使用Ubuntu作業系統 使用Ubuntu作業系統時，請注意檢查使用者權限（預設root使用者不是超管） | |
| CPU | CPU核數 | 16核 |
| CPU主頻 | 2.5GHz及以上 | |
| 記憶體 | 剩餘閒置物理記憶體 | 64G |
| 磁碟 | 剩餘閒置磁碟大小 | 伺服器中存在一個分割槽剩餘可用空間大於 2T 注1：必須要有任一分割槽滿足條件，不可將分割槽容量加和 注2：自備組件可以降低磁碟要求 如自備kafka組件，伺服器剩餘閒置磁碟要求可降低1.5T 如自備外接配置庫組件，伺服器剩餘閒置磁碟要求可降低50G |
| 外掛目錄 | 準備外掛目錄 | 注：禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄，可在對應位置建立資料夾使用 |
| 檔案系統自動掛載 | 外掛目錄對應的檔案系統需要配置重啟自動掛載 如果沒有配置重啟自動掛載，那麼容器可能無法存取這些掛載目錄，導致資料丟失或應用程式無法正常啟動 | |
| 非共享路徑 | 外掛目錄不能是一個共享路徑 共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰，這些問題會影響容器應用程式的可靠性和速度 | |
| 權限與命令 | tar命令 | 確定伺服器已安裝tar命令 tar命令是一個用於打包和壓縮檔案的常用命令行工具 維運平台需要使用該命令進行檔案解壓 |
| sed命令 | 確定伺服器已安裝sed命令 sed命令是一個用於處理正文的工具 維運平台需要使用該命令進行正文處理 | |
| sudo權限 | 用於部署專案的伺服器使用者，必須具備相關sudo權限 1）優先推薦使用root超管使用者進行專案部署和運作 2）如需使用非超管root使用者進行專案的部署和運作 請參考文檔：Linux使用者權限說明 注：Ubuntu作業系統，預設root使用者並非超管使用者，請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限 | |
| 埠網路 | 內網時延 | <1ms |
| 伺服器內網帶寬（應用和業務資料庫間） | ≥1000Mbps（125MB/s） | |
| 伺服器外網帶寬（專案與使用者用戶端間） | ≥10Mbps（1.25MB/s） | |
組件佔用埠 組件埠互通 | ||
方案三
1）FineDataLink主應用伺服器：CPU16核、記憶體64G、磁碟500G
部署「1fdl」
2）FineDataLink組件&維運平台伺服器：CPU8核、記憶體32G、磁碟2T
部署「1kafka+1nginx內網關+1mysql配置庫」
部署「維運平台所有組件」
| 配置 | FineDataLink主應用伺服器要求 | FineDataLink組件&維運平台伺服器 | |
|---|---|---|---|
| 安裝組件一覽 | 用於安裝FineDataLink應用組件 FineDataLink組件作用可參考：瞭解維運專案組件作用
| 1）用於安裝FineDataLink管道和維運組件 FineDataLink組件作用可參考：瞭解維運專案組件作用
2）用於安裝維運平台全部組件 維運平台組件作用可參考：瞭解維運平台組件作用 如已安裝維運平台，請忽略
| |
| 伺服器基礎要求 | 時間一致 | 所有伺服器時間一致，相差不能超過5秒 伺服器時間不一致，可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題 | |
| 時區一致 | 所有伺服器時區完全一致 伺服器時區不一致，可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題 | ||
| 內網互通 | 所有伺服器內網互通，或可以開放埠存取 下文將具體講述對應埠開放要求 | ||
| 不建議虛擬機 | 由於虛擬機自身的特性，會存在資源競爭等情況，可能導致出現預期外的系統故障，因此不建議在虛擬機中部署帆軟應用 | ||
| 作業系統 | 作業系統類型 | Linux | |
| 作業系統架構 | X86_64 | ||
| 作業系統核心 | 3.10版本及以上 | ||
| 作業系統軟體 | 推薦：Ubuntu 22 版本 支援： Ubuntu 18.04.4 及以上版本（不支援 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS作業系統目前已停止服務，因此帆軟優先推薦使用Ubuntu作業系統 使用Ubuntu作業系統時，請注意檢查使用者權限（預設root使用者不是超管） | ||
| CPU | CPU核數 | 16核 | 8核 |
| CPU主頻 | 2.5GHz及以上 | ||
| 記憶體 | 剩餘閒置物理記憶體 | 64G | 32G |
| 磁碟 | 剩餘閒置磁碟大小 | 伺服器中存在一個分割槽剩餘可用空間大於 500G 注：必須要有任一分割槽滿足條件，不可將分割槽容量加和 | 伺服器中存在一個分割槽剩餘可用空間大於 2T 注1：必須要有任一分割槽滿足條件，不可將分割槽容量加和 注2：自備組件可以降低磁碟要求 如自備kafka組件，伺服器剩餘閒置磁碟要求可降低1.5T 如自備外接配置庫組件，伺服器剩餘閒置磁碟要求可降低50G |
| 外掛目錄 | 準備外掛目錄 | 准备FineDataLink项目挂载目录 注：禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄，可在對應位置建立資料夾使用 | 注：禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄，可在對應位置建立資料夾使用 |
| 檔案系統自動掛載 | 外掛目錄對應的檔案系統需要配置重啟自動掛載 如果沒有配置重啟自動掛載，那麼容器可能無法存取這些掛載目錄，導致資料丟失或應用程式無法正常啟動 | ||
| 非共享路徑 | 外掛目錄不能是一個共享路徑 共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰，這些問題會影響容器應用程式的可靠性和速度 | ||
| 權限與命令 | tar命令 | 確定伺服器已安裝tar命令 tar命令是一個用於打包和壓縮檔案的常用命令行工具 維運平台需要使用該命令進行檔案解壓 | |
| sed命令 | 確定伺服器已安裝sed命令 sed命令是一個用於處理正文的工具 維運平台需要使用該命令進行正文處理 | ||
| sudo權限 | 用於部署專案的伺服器使用者，必須具備相關sudo權限 1）優先推薦使用root超管使用者進行專案部署和運作 2）如需使用非超管root使用者進行專案的部署和運作 請參考文檔：Linux使用者權限說明 注：Ubuntu作業系統，預設root使用者並非超管使用者，請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限 | ||
| 埠網路 | 內網時延 | <1ms | |
| 伺服器內網帶寬（應用和業務資料庫間） | ≥1000Mbps（125MB/s） | ||
| 伺服器外網帶寬（專案與使用者用戶端間） | ≥10Mbps（1.25MB/s） | ||
組件佔用埠 組件埠互通 | 确认FineDataLink项目服务器网络 | ||
方案四
1）N 台 FineDataLink 主應用伺服器
每一台要求：CPU16核、記憶體64G、磁碟500G
每一台部署「1fdl」
2）FineDataLink組件&維運平台伺服器：CPU8核、記憶體32G、磁碟2T
部署「1kafka+1nacos+1nginx內網關+1mysql配置庫」
部署「維運平台所有組件」
| 配置 | 每台FineDataLink主應用伺服器要求 | FineDataLink組件&維運平台伺服器 | |
|---|---|---|---|
| 安裝組件一覽 | 用於安裝FineDataLink應用組件 FineDataLink組件作用可參考：瞭解維運專案組件作用
| 1）用於安裝FineDataLink管道、叢集和維運組件 FineDataLink組件作用可參考：瞭解維運專案組件作用
2）用於安裝維運平台全部組件 維運平台組件作用可參考：瞭解維運平台組件作用 如已安裝維運平台，請忽略
| |
| 伺服器基礎要求 | 時間一致 | 所有伺服器時間一致，相差不能超過5秒 伺服器時間不一致，可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題 | |
| 時區一致 | 所有伺服器時區完全一致 伺服器時區不一致，可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題 | ||
| 內網互通 | 所有伺服器內網互通，或可以開放埠存取 下文將具體講述對應埠開放要求 | ||
| 不建議虛擬機 | 由於虛擬機自身的特性，會存在資源競爭等情況，可能導致出現預期外的系統故障，因此不建議在虛擬機中部署帆軟應用 | ||
| 作業系統 | 作業系統類型 | Linux | |
| 作業系統架構 | X86_64 | ||
| 作業系統核心 | 3.10版本及以上 | ||
| 作業系統軟體 | 推薦：Ubuntu 22 版本 支援： Ubuntu 18.04.4 及以上版本（不支援 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS作業系統目前已停止服務，因此帆軟優先推薦使用Ubuntu作業系統 使用Ubuntu作業系統時，請注意檢查使用者權限（預設root使用者不是超管） | ||
| CPU | CPU核數 | 16核 | 8核 |
| CPU主頻 | 2.5GHz及以上 | ||
| 記憶體 | 剩餘閒置物理記憶體 | 64G | 32G |
| 磁碟 | 剩餘閒置磁碟大小 | 伺服器中存在一個分割槽剩餘可用空間大於 500G 注：必須要有任一分割槽滿足條件，不可將分割槽容量加和 | 伺服器中存在一個分割槽剩餘可用空間大於 2T 注1：必須要有任一分割槽滿足條件，不可將分割槽容量加和 注2：自備組件可以降低磁碟要求 如自備kafka組件，伺服器剩餘閒置磁碟要求可降低1.5T 如自備外接配置庫組件，伺服器剩餘閒置磁碟要求可降低50G 如自備檔案儲存組件，伺服器剩餘閒置磁碟要求可降低100G |
| 外掛目錄 | 準備外掛目錄 | 准备FineDataLink项目挂载目录 注：禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄，可在對應位置建立資料夾使用 | 注：禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄，可在對應位置建立資料夾使用 |
| 檔案系統自動掛載 | 外掛目錄對應的檔案系統需要配置重啟自動掛載 如果沒有配置重啟自動掛載，那麼容器可能無法存取這些掛載目錄，導致資料丟失或應用程式無法正常啟動 | ||
| 非共享路徑 | 外掛目錄不能是一個共享路徑 共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰，這些問題會影響容器應用程式的可靠性和速度 | ||
| 權限與命令 | tar命令 | 確定伺服器已安裝tar命令 tar命令是一個用於打包和壓縮檔案的常用命令行工具 維運平台需要使用該命令進行檔案解壓 | |
| sed命令 | 確定伺服器已安裝sed命令 sed命令是一個用於處理正文的工具 維運平台需要使用該命令進行正文處理 | ||
| sudo權限 | 用於部署專案的伺服器使用者，必須具備相關sudo權限 1）優先推薦使用root超管使用者進行專案部署和運作 2）如需使用非超管root使用者進行專案的部署和運作 請參考文檔：Linux使用者權限說明 注：Ubuntu作業系統，預設root使用者並非超管使用者，請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限 | ||
| 埠網路 | 內網時延 | <1ms | |
| 伺服器內網帶寬（應用和業務資料庫間） | ≥1000Mbps（125MB/s） | ||
| 伺服器外網帶寬（專案與使用者用戶端間） | ≥10Mbps（1.25MB/s） | ||
組件佔用埠 組件埠互通 | 确认FineDataLink项目服务器网络 | ||
附
FineDataLink組件預設資源配置
之所以需要上文的配置，是因為FineDataLink專案的每個組件，有最低運作配置要求，如下表所示：
注1：由於各組件不會同時滿負荷運作，為了防止資源過剩，因此準備伺服器時採用CPU共享策略。所要求的伺服器CPU核心數，並非各個容器CPU上限之和。
注2：由於各個組件容器記憶體必須滿足當前JAVA記憶體配置，以分配給xmx、堆外記憶體、FineIO讀寫記憶體、CodeCache、元空間記憶體等，因此所要求的伺服器記憶體，必須滿足各個容器記憶體上限之和。
| 組件 | CPU使用上限 | 記憶體使用上限 | 記憶體配置xmx | 磁碟 |
|---|---|---|---|---|
| FineDataLink | 4Core | - | 預設記憶體為： 機器記憶體減掉8G後的記憶體大小 最大不超過30G | 50G |
| ops_agent | 1Core | 1G | - | - |
| nginx | 1Core | 2G | - | - |
| mysql | 2Core | 6G | - | 50G |
| redis | 1Core | 4.5G | 4G | - |
| minio | 1Core | 2G | - | 100G |
| kafka | 4Core | 4G | 2G | - |
| nacos | 2Core | 2G | - | - |
| nacos_mysql | 2Core | 2G | - | - |