历史版本18 :FineDataLink部署环境准备 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 系统要求编辑

类别

操作系统

已验证版本号

LinuxCentos6  Centos 6.5、Centos 6.6、Centos 6.7、Centos 6.8、Centos 6.9
Centos7Centos 7.0、Centos 7.1、Centos 7.2、Centos 7.3、Centos 7.4
RedHat6RedHat 6.5、RedHat 6.6、RedHat 6.7、RedHat 6.8、RedHat 6.9
RadHat7RedHat 7.0、RedHat 7.1、RedHat 7.2、RedHat 7.3、RedHat 7.4

注1：使用中文的用户将工程部署到 Linux 系统时，需确认系统中是否有中文语言包，具体请参见：Linux 系统安装中文语言包

注2：若需要使用数据管道功能，需要使用 Linux 系统。

2. 网络要求编辑

公网环境和内网环境均可部署工程。如下：

类型数据来源库和FDL服务器的下载带宽数据目标库和FDL服务器的上传带宽网段备注
公网50M以上50M以上同网段/
内网无要求无要求同网段内网一般都是百兆/千兆带宽，故对带宽不做要求

数据来源库、数据目标库和FDL服务器之间涉及数据传输，所以三者尽可能在同一网段下；

因为FDL服务器和数据目标库之间的性能要求更高，所以若来源库和目标库已经明确不在同一网段下，那么FDL服务器尽可能跟随目标库网段进行部署，会有更优的综合性能表现。

3. 机器要求编辑

3.1 内存配置

服务器系统内存
分配给 Web 容器 JVM 内存
分配给FDL内存
应用服务器
建议 16G 以上建议 8G 以上，不要超过 32G，过大会导致系统 FullGC 时间过长

  • 建议 8G 以上，不要超过 32G，过大会导致系统 FullGC 时间过长

  • 资源控制内存最低6G，建议12G以上

3.2 CPU配置

FDL 的 ETL 任务并发数默认是 CPU 线程数的 1/2 ，那么意味着若 CPU 线程数为 8 ，FDL 可并发执行的 ETL 任务数则为 4；为保证 FDL 的高性能表现，FDL 服务器 CPU 线程数至少为 8 ，建议是 16 。

注：并发限制是以节点为单位的，节点详情参见：数据开发界面介绍

3.3 磁盘空间

FDL 数据转换-数据关联算子，可解决跨源数据进行关联的业务场景，但是该场景对内存消耗较高，所以针对亿级以上数据量的关联操作，FDL 不建议通过「数据转换-数据关联」完成，而是通过数据同步预先将数据抽取至目标数据库内，再使用 SQL 完成多表关联形成结果表。

单表平均数据量
磁盘配置
单表千万级别及以下40-50G 空余可用空间
单表亿级别及以上50 G及以上空余可用空间

同时磁盘空间也可按照 CPU 并发数进行计算，因为数据转换对于资源的消耗比较高，所以按照 CPU 数-含有数据转换的 ETL 任务数-磁盘占用进行配置推荐。

CPU线程数
并发的含有数据转换的ETL任务数磁盘配置
8线程4个100G
16线程8个200G

4. 部署安装包准备编辑

联系 FDL 工作人员，获取 FDL 服务器部署包。

5. 端口准备编辑

分类内容端口备注
web容器Tomcat

8080

注：4.0.6版本以及之后部署的工程，默认端口修改为8068

外部端口，可不对外开放，可修改（server.xml），SSL、短地址等在负载均衡层面配置
消息通知Websocket 端口38888/39888详情请参见：单机配置WebSocket端口


Websocket 转发端口38889

1）端口是否被占用请参见：端口占用查看

2）如果默认端口与其他工程有冲突，需要先修改端口，再开放对应的端口。

3）若同一个服务器部署多个 Tomcat 工程，需要修改 Tomcat 端口号以防端口冲突，具体可参见：修改Tomcat端口号

4）若防火墙开启，需要开放相关端口号：Windows 系统开放端口步骤请参见：Windows服务器设置出入站规则 ，Linux 系统开放端口步骤请参见：Linux防火墙使用及配置

5）对于 docker 容器，或者服务器之间端口严格限制的环境，需要对节点的服务器之间开放端口，用于节点间通信。

  • 选择 TCP 协议是 7800/7810/7820/7830/7840/7850/7860/7870 八个端口

  • 选择 UDP 协议是 45588～65536 随机端口