1. 操作系统要求
注:FineDataLink 支持了一些国产化的操作系统、中间件、芯片等,国产化环境准备请参见:FineDataLink支持的国产化环境
类别 | 型号 | |
---|---|---|
Linux操作系统 | CentOS6 | CentOS 6.5、CentOS 6.6、CentOS 6.7、CentOS 6.8、CentOS 6.9 |
CentOS7 | Centos 7.0、Centos 7.1、Centos 7.2、Centos 7.3、Centos 7.4 Centos 7.6、Centos 7.8、Centos 7.9 | |
RedHat6 | RedHat 6.5、RedHat 6.6、RedHat 6.7、RedHat 6.8、RedHat 6.9 | |
RedHat7 | RedHat 7.0、RedHat 7.1、RedHat 7.2、RedHat 7.3、RedHat 7.4 RedHat 7.7、RedHat 7.9、RedHat 8.0 | |
Ubuntu | Ubuntu 10.04.4、Ubuntu18.04、Ubuntu 20 | |
Amazon Linux | Amazon Linux AMI release 2018.03 | |
Rocky Linux | Rocky Linux 8.8~9.4版本 | |
Windows | Windows Server 2008 及以上 Windows 11 | |
配置库 | RDS MySQL、MySQL、SQL Server、Oracle、DB2、PostgreSQL 正式工程需要配置外接数据库,详情请参见:配置外接数据库 | |
浏览器 | 谷歌内核浏览器 建议使用最新版本的浏览器;建议用户使用主流现代浏览器(Google Chrome、Microsoft Edge) | |
Google Chrome | 4.1.x 版本<=目标版本<4.1.6.x,浏览器版本最低为 94 4.1.6.x 及以上版本,浏览器版本最低为 105 推荐使用最新浏览器版本 | |
Microsoft Edge |
需注意:
1)以上操作系统为推荐使用类型,用户若需要使用其他 Linux 系统部署 FineDataLink,有问题可联系帆软技术支持,联系方式:「服务平台>在线支持」、电话「400-811-8890」。
2)使用中文的用户将工程部署到 Linux 系统时,需确认系统中是否有中文语言包,具体请参见:Linux 系统安装中文语言包
3)数据管道 功能使用前需要部署 Kafka, 而 Kafka 建议安装在 Linux 系统中(Kafka 也支持安装在 Windows 中,但性能会受到限制,仅做演示使用,不建议用于生产环境 );Kafka 和 FDL 可以不在一个服务器中安装。
2. 服务器配置
2.1 CPU&内存&磁盘推荐&网络
本节按照数据开发定时任务数、数据管道任务数、实时任务数划分,提供多个标准方案,请按需选择。
2.1.1 方案适用需知
本文方案适用于全新部署场景,基于各类业务用量推荐配置,业务管理员需要给出需要处理的任务个数并进行匹配。
本文方案基于单个业务库数据(行*列)变更量≤100W/小时进行推荐,如数据变更量超出范围,请联系帆软技术支持以获得进一步支持。
本文方案按照常见客户规模提供资源建议。如任务数量超出推荐范围,请联系帆软技术支持以获得进一步支持。
随着使用时间和用量的增长,如果现有服务器资源不足,需要扩容,请联系帆软技术支持以获得进一步支持。
2.1.2 方案简介
方案 | 适用客户情况 | 服务器配置简介 |
---|---|---|
最低配置 | 开发任务数<35 不支持管道任务 | 该方案仅面向业务用量较小、服务器资源紧张的客户 1)服务器:CPU8核、内存16G、磁盘200G 2)端口网络要求:
|
方案一 | 开发任务数<150 不支持管道任务 | 1)服务器:CPU8核、内存32G、磁盘300G 2)端口网络要求:
|
方案二 | 开发任务数<300 管道任务数<16 实时任务数<20 | 1)服务器:CPU16核、内存64G、磁盘300G 2)端口网络要求:
|
方案三 | 开发任务数<500 管道任务数<16 实时任务数<40 | 1)服务器:CPU16核、内存64G、磁盘500G 2)端口网络要求:
|
方案四 | 开发任务数<500*N 管道任务数<16*N 实时任务数<40*N | 1)N 台 FineDataLink 主应用服务器 每一台要求:CPU16核、内存64G、磁盘500G 每一台部署「1fdl」 2)端口网络要求:
|
2.2 端口准备
本章内容说明:部署 FDL 需要对外开放的端口。
2.2.1 端口开放需知
1)端口是否被占用请参见:端口占用查看
2)如果默认端口与其他工程有冲突,需要先修改端口,再开放对应的端口。
3)若同一个服务器部署多个 Tomcat 工程,需要修改 Tomcat 端口号以防端口冲突,具体可参见:修改Tomcat端口号
4)若防火墙开启,需要开放相关端口号:Windows 系统开放端口步骤请参见:Windows服务器设置出入站规则 ,Linux 系统开放端口步骤请参见:Linux防火墙使用及配置
5)对于 docker 容器,或者服务器之间端口严格限制的环境,需要对节点的服务器之间开放端口,用于节点间通信。
选择 TCP 协议是 7800/7810/7820/7830/7840/7850/7860/
2.2.2 端口说明
分类 | 内容 | 端口 | 备注 |
---|---|---|---|
单机 | 工程占用端口 | 8068 | 外部端口,可不对外开放,可修改(server.xml),SSL、短地址等在负载均衡层面配置 |
宕机处理工具端口 | 12100 | ||
gpfdist服务端口 | 15500 | ||
集群 | 工程占用端口 | 8068 | 外部端口,可不对外开放,可修改(server.xml),SSL、短地址等在负载均衡层面配置 |
宕机处理工具端口 | 12100 | ||
集群TCP通信端口 | 7800 7830 7840 7850 7870 | ||
gpfdist服务端口 | 15500 | ||
消息通知 | WebSocket 端口 | 4.0.6及之后版本的默认值["58888", "59888"] 4.0.6之前版本的默认值 ["38888", "39888"] | 详情请参见:单机配置WebSocket端口 |
WebSocket 转发端口 | 4.0.6及之后版本的默认值:58889 4.0.6之前版本的默认值:38889 |
2.3 资源控制内存
注:资源控制设置详情参见:负载分配
2.3.1 未知定时任务数和管道任务数(适用于新部署的工程)
参考本文 2.1 节内容。
2.3.2 已知定时任务数和管道任务数(适用于工程迁移、配置升级)
最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限)
计算方式 | 内存 |
---|---|
精确 | 最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限),见下方计算表 |
粗略 | 最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限),定时和管道均按每个任务1G算 |
1)4.1.5.5 及之后版本
类型 | 节点 | 内存 | ||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
定时 | 单个输入节点 | buffer+outputSize*2*channel buffer: 非关系型 DB 表输入(如简道云、Mongo)以及其他输入类型(如 API 输入、文件输入等),一个 Reader 占用 64MB 的内存 关系型 DB表输入,取决于表的结构。对于输入表的每一列,分配 1MB 内存,特别地,如果这一列的精度(precision)超过了1024,则分配 2MB 内存。最终结果会向上补正到 8MB 的倍数,且不会超过 64MB
channel: Channel 的算法相对复杂一些,但对于一般的表,Channel 通常是 8MB 或者 16MB ,最高亦不会超过 64MB outputSize: 与输入节点直接连线的后置节点的数量 | ||||||||||||||||||||
过程节点 | 64+outputSize*2*64 outputSize(与输入节点的outputSize定义不同): 与过程节点直接连线的输出节点和 Python 节点的数量之和 过程节点后置的过程节点不算在 outputSize 里 | |||||||||||||||||||||
单个输出节点 | 32M 输出节点通常占用 32MB 内存。特别地,如果是输出到 Doris 或者 StarRocks ,占用 90MB 内存 | |||||||||||||||||||||
管道 | - | 与定时任务输入+输出节点一致 |
输入节点(三个写入端):(8+1*2*24)*3
过程节点(一个转换):64+2*2*64
输出节点(两个输出):32+32
总计:552MB
可见对应日志描述:
2)4.1.5.5 之前版本
运行中定时/管道任务内存粗略计算表:(适用于任务数量多,精确计算不便)
类型 | 节点 | JVM 内存 |
---|---|---|
定时 | -- | 1024M/每任务 |
管道 | -- | 1024M/每任务 |
运行中定时/管道任务内存精确计算表:
类型 | 节点 | 内存 |
---|---|---|
定时 | 单个输入节点 | 64M+128M*流出通道数量 |
全部过程节点 | 64M+128M*连接的输出节点数量 | |
单个输出节点 | 32M | |
管道 | -- | 1024M/每任务 |
定时任务计算示例:
2.4 Web 容器内存
>=资源控制内存(例如初始部署的工程,使用资源控制内存 16G ,则 Web 容器内存大于 16G 即可,但不建议超过 80% 的系统内存)
注:修改容器内存方式详情参见:修改Tomcat内存