历史版本21 :FineDataLink部署环境准备 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 软件环境要求编辑

类别

型号

Linux操作系统Centos6  Centos 6.5、Centos 6.6、Centos 6.7、Centos 6.8、Centos 6.9
Centos7Centos 7.0、Centos 7.1、Centos 7.2、Centos 7.3、Centos 7.4
RedHat6RedHat 6.5、RedHat 6.6、RedHat 6.7、RedHat 6.8、RedHat 6.9
RadHat7RedHat 7.0、RedHat 7.1、RedHat 7.2、RedHat 7.3、RedHat 7.4
浏览器谷歌内核浏览器

注1:使用中文的用户将工程部署到 Linux 系统时,需确认系统中是否有中文语言包,具体请参见:Linux 系统安装中文语言包

注2:若需要使用数据管道功能,需要使用 Linux 系统。

2. 网络要求编辑

公网环境和内网环境均可部署工程。如下:

网络环境
数据量(行)
带宽
公网<千万级50M
内网--无限制
>=千万级100M

带宽主要限制数据传输的单位流量阈值,简单换算公式:带宽 (Mb/s)*80%/8(bit)=流量(MB/s),*80%是因为实际传输中需要留出一定保留带宽,避免网络阻塞。

快速映射表:

带宽
流量阈值
推荐指数
5Mb/s512KB/s⭐️
50Mb/s5MB/s⭐️⭐️
100Mb/s10MB/s⭐️⭐️⭐️
10000Mb/s1000MB/s⭐️

内部大量测试下(数据量级千万级),数据传输流量接近 50M 带宽换算值,不超过 100M,所以推荐配置 50M-100M 的带宽。

3. 机器要求编辑

3.1 资源控制内存

注:资源控制设置详情参见:资源控制 。

3.1.1 已知定时任务数和管道任务数(适用于工程迁移、配置升级)

最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限)

计算方式
内存
精确最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限),见下方计算表
粗略最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限),定时和管道均按每个任务1G算

运行中定时/管道任务内存精确计算表:

类型
节点内存
定时单个输入节点64M+128M*流出通道数量
全部过程节点64M+128M*连接的输出节点数量
单个输出节点32M
管道--1024M/每任务

定时任务计算示例:

运行中定时/管道任务内存粗略计算表:(适用于任务数量多,精确计算不便)

类型
节点
内存
定时--1024M/每任务
管道--1024M/每任务

3.1.2 未知定时任务数和管道任务数(适用于新部署的工程)

内存
推荐指数
8G⭐️⭐️
16G⭐️⭐️⭐️
32G⭐️
32G+不推荐,过大会导致系统 FullGC 时间过长

3.2 Web 容器内存

>=资源控制内存

3.3 系统内存

>=Web容器内存>=资源控制内存

3.4 CPU配置

线程数>=并发任务数*2

为保证并发传输高性能表现,CPU线程数可略大于需并发任务数*2

并发任务数
CPU线程数(推荐)
48
1020
NN*2

CPU主要限制并发运行的定时任务数和管道任务数(注:定时和管道任务数分别受限于机器CPU,两者相互不做影响

如线程数为2X,此时同时运行的定时任务数上限为X,超出的任务将进入排队等待被调起;定时X任务基础上,此时同时运行的管道任务数上限为X,超出的任务将直接报错无法运行。

3.5 磁盘空间

50G+

磁盘空间主要是两个方面的占用,文件空间(安装文件、任务文件、日志文件、备份文件)和任务读写吞吐磁盘,数据表传输主要是内存读写,内存充分情况下磁盘的开销较小,无需预留过多。

类别
项目
磁盘占用
说明
文件空间初始安装4G--
任务文件20M/每百任务根据内部测试环境上千任务估算得到
运行记录文件1M/每百记录根据内部测试环境上万记录估算得到
应用日志<10G可自行清理
备份文件<20G可自行清理
服务器本地目录X根据实际使用量自行增加
数据吞吐--10G--
GPLOAD默认1G/每任务根据实际使用量自行增加

综上,部署服务器至少预留磁盘空间 50G,如果需要用到服务器本地目录存放 excel/csv 数据场景,可根据实际需求量自行增加。

4. 部署安装包准备编辑

联系 FDL 工作人员,获取 FDL 服务器部署包。

5. 端口准备编辑

分类内容端口备注
web容器Tomcat

8080

注:4.0.6版本以及之后部署的工程,默认端口修改为8068

外部端口,可不对外开放,可修改(server.xml),SSL、短地址等在负载均衡层面配置
消息通知Websocket 端口38888/39888详情请参见:单机配置WebSocket端口


Websocket 转发端口38889

1)端口是否被占用请参见:端口占用查看

2)如果默认端口与其他工程有冲突,需要先修改端口,再开放对应的端口。

3)若同一个服务器部署多个 Tomcat 工程,需要修改 Tomcat 端口号以防端口冲突,具体可参见:修改Tomcat端口号

4)若防火墙开启,需要开放相关端口号:Windows 系统开放端口步骤请参见:Windows服务器设置出入站规则 ,Linux 系统开放端口步骤请参见:Linux防火墙使用及配置

5)对于 docker 容器,或者服务器之间端口严格限制的环境,需要对节点的服务器之间开放端口,用于节点间通信。

  • 选择 TCP 协议是 7800/7810/7820/7830/7840/7850/7860/7870 八个端口

  • 选择 UDP 协议是 45588~65536 随机端口