注:FineDataLink 支援了一些國產化的作業系統、中間軟體、晶片等,國產化環境準備請參見:FineDataLink支持的国产化环境
Centos 7.0、Centos 7.1、Centos 7.2、Centos 7.3、Centos 7.4
Centos 7.6、Centos 7.8、Centos 7.9
RedHat 7.0、RedHat 7.1、RedHat 7.2、RedHat 7.3、RedHat 7.4
RedHat 7.7、RedHat 7.9
Windows Server 2008 及以上
Windows 11
RDS MySQL、MySQL、SQL Server、Oracle、DB2、PostgreSQL
正式工程需要配置外接資料庫,詳情請參見:配置外接資料庫
谷歌核心瀏覽器
建議使用最新版本的瀏覽器;建議使用者使用主流現代瀏覽器(Google Chrome、Microsoft Edge)
4.1.6.x 及以上版本,瀏覽器版本最低為 105
推薦使用最新瀏覽器版本
需注意:
1)以上作業系統為推薦使用類型,使用者若需要使用其他 Linux 系統部署 FineDataLink,有問題可聯絡帆軟技術支援,聯絡方式:「服務平台>線上支援」、電話「400-811-8890」。
2)使用中文的使用者將工程部署到 Linux 系統時,需確認系統中是否有中文語言包,具體請參見:Linux 系統安裝中文語言包
3)資料管道概述 功能使用前需要部署 Kafka, 而 Kafka 建議安裝在 Linux 系統中(Kafka 也支援安裝在 Windows 中,但效能會受到限制,僅做示範使用,不建議用於生產環境 );Kafka 和 FDL 可以不在一個伺服器中安裝。
本節按照資料開發定時任務數、資料管道任務數、實時任務數劃分,提供多個標準方案,請按需選擇。
本文方案適用於全新部署場景,基於各類業務用量推薦配置,業務管理者需要給出需要處理的任務個數並進行匹配。
本文方案基於單個業務庫資料(行*列)變更量≤100W/小時進行推薦,如資料變更量超出範圍,請聯絡帆軟技術支援以獲得進一步支援。
本文方案按照常見客戶規模提供資源建議。如任務數量超出推薦範圍,請聯絡帆軟技術支援以獲得進一步支援。
隨着使用時間和用量的增長,如果現有伺服器資源不足,需要擴容,請聯絡帆軟技術支援以獲得進一步支援。
開發任務數<35
不支援管道任務
1)伺服器:CPU8核、記憶體16G、磁碟200G
2)埠網路要求:
內網時延:<1ms
伺服器內網帶寬(FDL所在伺服器與業務資料庫間):≥100Mbps(12.5MB/s)
伺服器外網帶寬(FDL所在伺服器與FDL工程使用者所處網路間):≥10Mbps(1.25MB/s)
埠準備:詳情請參見本文 2.2 節內容
開發任務數<150
1)伺服器:CPU8核、記憶體32G、磁碟300G
伺服器內網帶寬(FDL所在伺服器與業務資料庫間):≥1000Mbps(125MB/s)
開發任務數<300
管道任務數<16
實時任務數<20
1)伺服器:CPU16核、記憶體64G、磁碟300G
開發任務數<500
實時任務數<40
1)伺服器:CPU16核、記憶體64G、磁碟500G
開發任務數<500*N
管道任務數<16*N
實時任務數<40*N
每一台要求:CPU16核、記憶體64G、磁碟500G
每一台部署「1fdl」
本章內容說明:部署 FDL 需要對外開放的埠。
1)埠是否被佔用請參見:資源遷移
2)如果預設埠與其他工程有衝突,需要先修改埠,再開放對應的埠。
3)若同一個伺服器部署多個 Tomcat 工程,需要修改 Tomcat 埠號以防埠衝突,具體可參見:修改Tomcat端口号
4)若防火牆開啟,需要開放相關埠號:Windows 系統開放埠步驟請參見:安全防護 ,Linux 系統開放埠步驟請參見:Linux防火牆使用及配置
5)對於 docker 容器,或者伺服器之間埠嚴格限制的環境,需要對節點的伺服器之間開放埠,用於節點間通訊。
選擇 TCP 協定是 7800/7810/7820/7830/7840/7850/7860/7870 八個埠。
選擇 UDP 協定是 45588~65536 隨機埠。
7800
7830
7840
7850
7870
4.0.6及之後版本的預設值["58888", "59888"]
4.0.6之前版本的預設值 ["38888", "39888"]
4.0.6及之後版本的預設值:58889
4.0.6之前版本的預設值:38889
注:資源控制設定詳情參見:负载分配
參考本文 2.1 節內容。
最小記憶體需求=MAX(運作中定時記憶體下限,運作中管道記憶體下限)
1)4.1.5.5 及之後版本
buffer:
非關係型 DB 表輸入(如簡道雲、Mongo)以及其他輸入類型(如 API 輸入、檔案輸入等),一個 Reader 佔用 64MB 的記憶體
關係型 DB表輸入,取決於表的結構。對於輸入表的每一欄,分配 1MB 記憶體,特別地,如果這一欄的精度(precision)超過了1024,則分配 2MB 記憶體。最終結果會向上補正到 8MB 的倍數,且不會超過 64MB
如果一個表的結構如下:
那麼它的記憶體佔用為1+1+1+1+2+1+1+1=9MB,再向上補正到 8MB 的倍數,即16MB
channel:
Channel 的算法相對複雜一些,但對於一般的表,Channel 通常是 8MB 或者 16MB ,最高亦不會超過 64MB
outputSize:
與輸入節點直接遠端的後置節點的數量
64+outputSize*2*64
outputSize(與輸入節點的outputSize定義不同):
與程式節點直接遠端的匯出節點和 Python 節點的數量之和
程式節點後置的程式節點不算在 outputSize 裏
32M
匯出節點通常佔用 32MB 記憶體。特別地,如果是匯出到 Doris 或者 StarRocks ,佔用 90MB 記憶體
輸入節點(三個寫入端):(8+1*2*24)*3
程式節點(一個轉換):64+2*2*64
匯出節點(兩個匯出):32+32
總計:552MB
可見對應日誌描述:
2)4.1.5.5 之前版本
運作中定時/管道任務記憶體粗略計算表:(適用於任務數量多,精確計算不便)
運作中定時/管道任務記憶體精確計算表:
定時任務計算範例:
>=資源控制記憶體(例如初始部署的工程,使用資源控制記憶體 16G ,則 Web 容器記憶體大於 16G 即可,但不建議超過 80% 的系統記憶體)
注:修改容器記憶體方式詳情參見:修改Tomcat内存
聯絡技術支援,獲取通用安裝包。技術支援聯絡方式:前往「服務」,選擇「線上支援」、電話「400-811-8890」
滑鼠選中內容,快速回饋問題
滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。
不再提示
10s後關閉
反馈已提交
网络繁忙