FineDataLink部署环境准备

  • 产品级协助
  • 文档创建者:产品运营-Bernard
  • 历史版本:63
  • 最近更新:Wendy123456 于 2025-02-11
  • 1. 操作系统要求

    注:FineDataLink 支持了一些国产化的操作系统、中间件、芯片等,国产化环境准备请参见:FineDataLink支持的国产化环境

    类别型号
    Linux操作系统CentOS6  CentOS 6.5、CentOS 6.6、CentOS 6.7、CentOS 6.8、CentOS 6.9
    CentOS7

    Centos 7.0、Centos 7.1、Centos 7.2、Centos 7.3、Centos 7.4

    Centos 7.6、Centos 7.8、Centos 7.9

    RedHat6RedHat 6.5、RedHat 6.6、RedHat 6.7、RedHat 6.8、RedHat 6.9
    RedHat7

    RedHat 7.0、RedHat 7.1、RedHat 7.2、RedHat 7.3、RedHat 7.4

    RedHat 7.7、RedHat 7.9、RedHat 8.0

    UbuntuUbuntu 10.04.4、Ubuntu18.04、Ubuntu 20
    Amazon LinuxAmazon Linux AMI release 2018.03
    Rocky LinuxRocky Linux 8.8~9.4版本
    Windows

    Windows Server 2008 及以

    Windows 11

    配置库

    RDS MySQL、MySQL、SQL Server、Oracle、DB2、PostgreSQL

    正式工程需要配置外接数据库,详情请参见:配置外接数据库

    浏览器

    谷歌内核浏览器

    建议使用最新版本的浏览器;建议用户使用主流现代浏览器(Google Chrome、Microsoft Edge)

    Google Chrome4.1.x 版本<=目标版本<4.1.6.x,浏览器版本最低为 94

    4.1.6.x 及以上版本,浏览器版本最低为 105

    推荐使用最新浏览器版本

    Microsoft Edge

    需注意:

    1)以上操作系统为推荐使用类型,用户若需要使用其他 Linux 系统部署 FineDataLink,有问题可联系帆软技术支持,联系方式:「服务平台>在线支持」、电话「400-811-8890」。

    2)使用中文的用户将工程部署到 Linux 系统时,需确认系统中是否有中文语言包,具体请参见:Linux 系统安装中文语言包

    3)数据管道 功能使用前需要部署 Kafka, 而 Kafka 建议安装在 Linux 系统中(Kafka 也支持安装在 Windows 中,但性能会受到限制,仅做演示使用,不建议用于生产环境 );Kafka 和 FDL 可以不在一个服务器中安装。

    2. 服务器配置

    2.1 CPU&内存&磁盘推荐&网络

    本节按照数据开发定时任务数、数据管道任务数、实时任务数划分,提供多个标准方案,请按需选择。

    2.1.1 方案适用需知

    • 本文方案适用于全新部署场景,基于各类业务用量推荐配置,业务管理员需要给出需要处理的任务个数并进行匹配。

    • 本文方案基于单个业务库数据(行*列)变更量≤100W/小时进行推荐,如数据变更量超出范围,请联系帆软技术支持以获得进一步支持。

    • 本文方案按照常见客户规模提供资源建议。如任务数量超出推荐范围,请联系帆软技术支持以获得进一步支持。

    • 随着使用时间和用量的增长,如果现有服务器资源不足,需要扩容,请联系帆软技术支持以获得进一步支持。

    2.1.2 方案简介

    方案适用客户情况服务器配置简介
    最低配置

    开发任务数<35

    不支持管道任务

    该方案仅面向业务用量较小、服务器资源紧张的客户

    1)服务器:CPU8核、内存16G、磁盘200G

    2)端口网络要求:

    • 内网时延:<1ms

    • 服务器内网带宽(FDL所在服务器业务数据库):≥100Mbps(12.5MB/s

    • 服务器外网带宽(FDL所在服务器FDL工程使用者所处网络间):≥10Mbps(1.25MB/s

    • 端口准备:详情请参见本文 2.2 节内容

    方案一

    开发任务数<150

    不支持管道任务

    1)服务器:CPU8核、内存32G、磁盘300G

    2)端口网络要求:

    • 内网时延:<1ms

    • 服务器内网带宽(FDL所在服务器业务数据库):≥1000Mbps(125MB/s

    • 服务器外网带宽(FDL所在服务器FDL工程使用者所处网络间):≥10Mbps(1.25MB/s

    • 端口准备详情请参见本文 2.2 节内容

    方案二

    开发任务数<300

    管道任务数<16

    实时任务数<20

    1)服务器:CPU16核、内存64G、磁盘300G

    2)端口网络要求:

    • 内网时延:<1ms

    • 服务器内网带宽(FDL所在服务器业务数据库):≥1000Mbps(125MB/s

    • 服务器外网带宽(FDL所在服务器FDL工程使用者所处网络间):≥10Mbps(1.25MB/s

    • 端口准备详情请参见本文 2.2 节内容

    方案三

    开发任务数<500

    管道任务数<16

    实时任务数<40

    1)服务器:CPU16核、内存64G、磁盘500G

    2)端口网络要求:

    • 内网时延:<1ms

    • 服务器内网带宽(FDL所在服务器业务数据库):≥1000Mbps(125MB/s)

    • 服务器外网带宽(FDL所在服务器FDL工程使用者所处网络间):≥10Mbps(1.25MB/s)

    • 端口准备详情请参见本文 2.2 节内容

    方案四

    开发任务数<500*N

    管道任务数<16*N

    实时任务数<40*N

    1)N 台 FineDataLink 主应用服务器

    每一台要求:CPU16核、内存64G、磁盘500G

    每一台部署「1fdl

    2)端口网络要求:

    • 内网时延:<1ms

    • 服务器内网带宽(FDL所在服务器业务数据库):≥1000Mbps(125MB/s)

    • 服务器外网带宽(FDL所在服务器FDL工程使用者所处网络间):≥10Mbps(1.25MB/s)

    • 端口准备:详情请参见本文 2.2 节内容

    2.2 端口准备

    本章内容说明:部署 FDL 需要对外开放的端口。

    2.2.1 端口开放需知

    1)端口是否被占用请参见:端口占用查看

    2)如果默认端口与其他工程有冲突,需要先修改端口,再开放对应的端口。

    3)若同一个服务器部署多个 Tomcat 工程,需要修改 Tomcat 端口号以防端口冲突,具体可参见:修改Tomcat端口号

    4)若防火墙开启,需要开放相关端口号:Windows 系统开放端口步骤请参见:Windows服务器设置出入站规则 ,Linux 系统开放端口步骤请参见:Linux防火墙使用及配置

    5)对于 docker 容器,或者服务器之间端口严格限制的环境,需要对节点的服务器之间开放端口,用于节点间通信。

    • 选择 TCP 协议是 7800/7810/7820/7830/7840/7850/7860/

    2.2.2 端口说明

    分类
    内容
    端口备注
    单机工程占用端口8068外部端口,可不对外开放,可修改(server.xml),SSL、短地址等在负载均衡层面配置
    宕机处理工具端口12100
    gpfdist服务端口15500
    集群工程占用端口8068外部端口,可不对外开放,可修改(server.xml),SSL、短地址等在负载均衡层面配置
    宕机处理工具端口12100
    集群TCP通信端口

    7800

    7830

    7840

    7850

    7870


    gpfdist服务端口15500
    消息通知WebSocket 端口

    4.0.6及之后版本的默认值["58888", "59888"]

    4.0.6之前版本的默认值 ["38888", "39888"]

    详情请参见:单机配置WebSocket端口
    WebSocket 转发端口

    4.0.6及之后版本的默认值:58889

    4.0.6之前版本的默认值:38889

    2.3 资源控制内存

    注:资源控制设置详情参见:负载分配 

    2.3.1 未知定时任务数和管道任务数(适用于新部署的工程)

    参考本文 2.1 节内容。

    2.3.2 已知定时任务数和管道任务数(适用于工程迁移、配置升级)

    最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限)

    计算方式
    内存
    精确最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限),见下方计算表
    粗略最小内存需求=MAX(运行中定时内存下限,运行中管道内存下限),定时和管道均按每个任务1G算

    1)4.1.5.5 及之后版本

    类型
    节点内存
    定时
    单个输入节点buffer+outputSize*2*channel

    buffer:

    非关系型 DB 表输入(如简道云、Mongo)以及其他输入类型(如 API 输入、文件输入等),一个 Reader 占用 64MB 的内存

    关系型 DB表输入,取决于表的结构。对于输入表的每一列,分配 1MB 内存,特别地,如果这一列的精度(precision)超过了1024,则分配 2MB 内存。最终结果会向上补正到 8MB 的倍数,且不会超过 64MB 

    示例说明

    如果一个表的结构如下:

    类型
    精度
    small int5
    big int19
    decimal18
    varchar100
    varbinary2000
    time0
    float15
    bit0

    那么它的内存占用为1+1+1+1+2+1+1+1=9MB,再向上补正到 8MB 的倍数,即16MB

    channel:

    Channel 的算法相对复杂一些,但对于一般的表,Channel 通常是 8MB 或者 16MB ,最高亦不会超过 64MB

    outputSize:

    与输入节点直接连线的后置节点的数量


    过程节点

    64+outputSize*2*64

    outputSize(与输入节点的outputSize定义不同):

    与过程节点直接连线的输出节点和 Python 节点的数量之和

    过程节点后置的过程节点不算在 outputSize 里


    单个输出节点

    32M

    输出节点通常占用 32MB 内存。特别地,如果是输出到 Doris 或者 StarRocks ,占用 90MB 内存

    管道-与定时任务输入+输出节点一致

    1712822539263848.png

    输入节点(三个写入端):(8+1*2*24)*3

    过程节点(一个转换):64+2*2*64

    输出节点(两个输出):32+32

    总计:552MB

    可见对应日志描述:

    3.png

    2)4.1.5.5 之前版本

    • 运行中定时/管道任务内存粗略计算表:(适用于任务数量多,精确计算不便)

    类型
    节点
    JVM 内存
    定时--1024M/每任务
    管道--1024M/每任务

    • 运行中定时/管道任务内存精确计算表:

    类型
    节点内存
    定时单个输入节点64M+128M*流出通道数量
    全部过程节点64M+128M*连接的输出节点数量
    单个输出节点32M
    管道--1024M/每任务

    定时任务计算示例:

    2.4 Web 容器内存

    >=资源控制内存(例如初始部署的工程,使用资源控制内存 16G ,则 Web 容器内存大于 16G 即可,但不建议超过 80% 的系统内存)

    注:修改容器内存方式详情参见:修改Tomcat内存

    3. 部署安装包准备

    联系技术支持,获取通用安装包。技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」





    附件列表


    主题: 部署升级
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    9s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持

    反馈已提交

    网络繁忙