历史版本9 :FineDataLink部署环境准备 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 系统要求编辑

类别

操作系统

已验证版本号

LinuxCentos6  Centos 6.5、Centos 6.6、Centos 6.7、Centos 6.8、Centos 6.9
Centos7Centos 7.0、Centos 7.1、Centos 7.2、Centos 7.3、Centos 7.4
RedHat6RedHat 6.5、RedHat 6.6、RedHat 6.7、RedHat 6.8、RedHat 6.9
RadHat7RedHat 7.0、RedHat 7.1、RedHat 7.2、RedHat 7.3、RedHat 7.4
windowsWindows ServerWindows Server 2008、Windows Server 2012

注:使用中文的用户将工程部署到 Linux 系统时,需确认系统中是否有中文语言包,具体请参见:Linux 系统安装中文语言包

2. 网络要求编辑

公网环境和内网环境均可部署工程。如下:

类型数据来源库和FDL服务器的下载带宽数据目标库和FDL服务器的上传带宽网段备注
公网50M以上50M以上同网段/
内网无要求无要求同网段内网一般都是百兆/千兆带宽,故对带宽不做要求

3. 机器要求编辑

3.1 内存配置

服务器系统内存
分配给 Web 容器 JVM 内存
分配给FDL内存
应用服务器
建议 16G 以上建议 8G 以上,不要超过 32G,过大会导致系统 FullGC 时间过长
  • 建议 8G 以上,不要超过 32G,过大会导致系统 FullGC 时间过长

  • 资源控制内存最低6G,建议12G以上

3.2 CPU配置

FDL的ETL任务并发数默认是CPU线程数的1/2,那么意味着若CPU线程数为8,FDL可并发执行的ETL任务数则为4;为保证FDL的高性能表现,FDL服务器CPU线程数至少为8,建议是16。

3.3 磁盘空间

FDL数据转换-数据关联算子,可解决跨源数据进行关联的业务场景,但是该场景对内存消耗较高,所以针对亿级以上数据量的关联操作,FDL不建议通过数据转换-数据关联完成,而是通过数据同步预先将数据抽取至目标数据库内,再使用SQL完成多表关联形成结果表。

单表平均数据量
磁盘配置
单表千万级别及以下40-50G空余可用空间
单表亿级别及以上50G及以上空余可用空间

同时磁盘空间也可按照CPU并发数进行计算,因为数据转换对于资源的消耗比较高,所以按照CPU数-含有数据转换的ETL任务数-磁盘占用进行配置推荐。

CPU线程数
并发的含有数据转换的ETL任务数磁盘配置
8线程4个100G
16线程8个200G

4. 部署安装包准备编辑

联系FDL工作人员,获取FDL服务器部署包。

5. 端口准备编辑

分类内容端口备注
web容器Tomcat8080外部端口,可不对外开放,可修改(server.xml),SSL、短地址等在负载均衡层面配置
消息通知Websocket 端口38888/39888详情请参见:单机配置WebSocket端口


Websocket 转发端口38889

1)端口是否被占用请参见:端口占用查看

2)如果默认端口与其他工程有冲突,需要先修改端口,再开放对应的端口。

3)若同一个服务器部署多个 Tomcat 工程,需要修改 Tomcat 端口号以防端口冲突,具体可参见:修改Tomcat端口号

4)若防火墙开启,需要开放相关端口号:Windows 系统开放端口步骤请参见:Windows服务器设置出入站规则 ,Linux 系统开放端口步骤请参见:Linux防火墙使用及配置

5)对于 docker 容器,或者服务器之间端口严格限制的环境,需要对节点的服务器之间开放端口,用于节点间通信。

  • 选择 TCP 协议是 7800/7810/7820/7830/7840/7850/7860/7870 八个端口

  • 选择 UDP 协议是 45588~65536 随机端口