維運平台支援部署FineDataLink4.1專案。
本文按照資料開發定時任務數、資料管道任務數、實時任務數劃分,提供多個標準方案,請按需選擇。
開發任務數:自行預估需要開發的資料任務個數
管道任務數:自行確認業務資料庫表空間的個數,一個表空間對應一個管道任務
實時任務數:自行預估需要實時同步資料的資料庫表空間的個數,一個表空間對應一個實時任務
本文方案適用於全新部署場景,基於各類業務用量推薦配置,業務管理者需要給出需要處理的任務個數並進行匹配。
本文方案基於單個業務庫資料(行*列)變更量≤100W/小時進行推薦,如資料變更量超出範圍,請交握帆軟技術支援以獲得進一步支援。
本文方案按照常見客戶規模提供資源建議。如任務數量超出推薦範圍,請交握帆軟技術支援以獲得進一步支援。
本文按照全新部署所有FineDataLink組件進行推薦。如自備部分組件(例如配置庫、檔案服務),可在對應伺服器刪減部分配置(方案中已詳細備註)。
隨着使用時間和用量的增長,如果現有伺服器資源不足,需要擴容,請交握帆軟技術支援以獲得進一步支援。
開發任務數<35
不支援管道任務
伺服器:CPU8核、記憶體16G、磁碟300G
部署「1fdl+1nginx內網關+1mysql配置庫」
部署「維運平台所有組件(不包括elasticsearch、skywalking_oap)」
開發任務數<150
伺服器:CPU8核、記憶體32G、磁碟500G
部署「維運平台所有組件」
開發任務數<300
管道任務數<16
實時任務數<20
伺服器:CPU16核、記憶體64G、磁碟2T
部署「1fdl+1kafka+1nginx內網關+1mysql配置庫」
開發任務數<500
實時任務數<40
1)FineDataLink主應用伺服器:CPU16核、記憶體64G、磁碟500G
部署「1fdl」
2)FineDataLink組件&維運平台伺服器:CPU8核、記憶體32G、磁碟2T
部署「1kafka+1nginx內網關+1mysql配置庫」
開發任務數<500*N
管道任務數<16*N
實時任務數<40*N
每一台要求:CPU16核、記憶體64G、磁碟500G
每一台部署「1fdl」
部署「1kafka+1nacos+1nginx內網關+1mysql配置庫」
該方案僅面向業務用量較小、伺服器資源緊張的客戶。
該方案部署的維運平台,只能是標準版與基礎版,即不支援鏈路追蹤和健康觀測等監視指標。
包括一台伺服器:CPU8核、記憶體16G、磁碟300G
伺服器要求
1)FineDataLink組件作用可參考:瞭解維運專案組件作用
本方案不支援管道功能,因此不部署管道相關組件
fdl
ops_agent、nginx
mysql(支援自備)
2)維運平台組件作用可參考:瞭解維運平台組件作用
本方案不支援鏈路功能,因此不部署鏈路追蹤相關組件
如已安裝維運平台,請忽略
ops、nginx、ops_agent
pushgateway、prometheus、grafana、alertmanager
registry(支援自備)
推薦:Ubuntu 22 版本
支援:
Ubuntu 18.04.4 及以上版本(不支援 Ubuntu20.04 版本 )
CentOS 7.3~7.9 版本
redhat 7.6 及以上版本
Rocky Linux 8.8~9.4版本
注:CentOS作業系統目前已停止服務,因此帆軟優先推薦使用Ubuntu作業系統使用Ubuntu作業系統時,請注意檢查使用者權限(預設root使用者不是超管)
8核
16G
注:專案部署完成後需完成註冊認證。
外網或可連通帆軟雲的內網環境:推薦使用公有雲認證
純內網環境:需透過維運平台進行容器私有雲註冊,需要在專案組件伺服器上安裝註冊服務組件。因此請確定為該伺服器額外準備≥2GB 閒置物理記憶體
注:必須要有任一分割槽滿足條件,不可將分割槽容量加和
準備FineDataLink專案掛載目錄
準備維運平台掛載目錄
注:禁止直接使用/、/usr、/root、/usr/local四個目錄作為掛載目錄,可在對應位置建立資料夾使用
外掛目錄對應的檔案系統需要配置重啟自動掛載
如果沒有配置重啟自動掛載,那麼容器可能無法存取這些掛載目錄,導致資料丟失或應用程式無法正常啟動
外掛目錄不能是一個共享路徑
共享檔案系統可能導致效能下降、檔案權限問題和資料一致挑戰,這些問題會影響容器應用程式的可靠性和速度
tar命令是一個用於打包和壓縮檔案的常用命令行工具
維運平台需要使用該命令進行檔案解壓
確定伺服器已安裝sed命令
sed命令是一個用於處理正文的工具
維運平台需要使用該命令進行正文處理
用於部署專案的伺服器使用者,必須具備相關sudo權限
1)優先推薦使用root超管使用者進行專案部署和運作
2)如需使用非超管root使用者進行專案的部署和運作
請參考文檔:Linux使用者權限說明
注:Ubuntu作業系統,預設root使用者並非超管使用者,請務必再次確認所準備的使用者是否滿足上方超連結的linux使用者權限
≥100Mbps(12.5MB/s)
組件佔用埠
組件埠互通
確認FineDataLink專案伺服器網路
確認維運平台伺服器網路
podman自帶的runc版本過低,與帆軟安裝的docker衝突,可能會導致部署失敗
請自行查閱相關資料卸載軟體,建議先在非生產環境驗證卸載影響
該殺毒軟體會導致執行 dockerd 命令時觸發伺服器連結中斷,進而造成部署失敗
elasticsearch、skywalking_oap
注1:必須要有任一分割槽滿足條件,不可將分割槽容量加和
注2:自備組件可以降低磁碟要求
如自備外接配置庫組件,伺服器剩餘閒置磁碟要求可降低50G
≥1000Mbps(125MB/s)
kafka(支援自備)
注:CentOS作業系統目前已停止服務,因此帆軟優先推薦使用Ubuntu作業系統 使用Ubuntu作業系統時,請注意檢查使用者權限(預設root使用者不是超管)
16核
64G
如自備kafka組件,伺服器剩餘閒置磁碟要求可降低1.5T
FineDataLink主應用伺服器要求
FineDataLink組件作用可參考:瞭解維運專案組件作用
ops_agent
2)用於安裝維運平台全部組件
維運平台組件作用可參考:瞭解維運平台組件作用
伺服器時間不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題
所有伺服器時區完全一致
伺服器時區不一致,可能會導致定時任務執行錯誤、日誌記錄混亂、資料不一致等多種問題
下文將具體講述對應埠開放要求
注:CentOS作業系統目前已停止服務,因此帆軟優先推薦使用Ubuntu作業系統
使用Ubuntu作業系統時,請注意檢查使用者權限(預設root使用者不是超管)
32G
純內網環境:需透過維運平台進行容器私有雲註冊,需要在專案組
件伺服器上安裝註冊服務組件。因此請確定為該伺服器額
外準備≥2GB 閒置物理記憶體
1)N 台 FineDataLink 主應用伺服器
每台FineDataLink主應用伺服器要求
nacos、nacos_mysql
minio(支援自備)
redis(支援自備)
如自備檔案儲存組件,伺服器剩餘閒置磁碟要求可降低100G
之所以需要上文的配置,是因為FineDataLink專案的每個組件,有最低運作配置要求,如下表所示:
注1:由於各組件不會同時滿負荷運作,為了防止資源過剩,因此準備伺服器時採用CPU共享策略。所要求的伺服器CPU核心數,並非各個容器CPU上限之和。
注2:由於各個組件容器記憶體必須滿足當前JAVA記憶體配置,以分配給xmx、堆外記憶體、FineIO讀寫記憶體、CodeCache、元空間記憶體等,因此所要求的伺服器記憶體,必須滿足各個容器記憶體上限之和。
預設記憶體為:
機器記憶體減掉8G後的記憶體大小
最大不超過30G