反馈已提交

网络繁忙

确认FineDataLink项目服务器配置

  • 文档创建者:Carly
  • 历史版本:58
  • 最近更新:Carly 于 2024-11-15
  • 概述

    运维平台支持部署FineDataLink4.1项目。

    本文按照业务库数、数据开发定时任务数、数据管道任务数、任务并发数、单库数据变更量划分,提供三个标准方案,请按需选择。

    方案适用须知

    本文方案适用于全新部署场景,基于各类业务用量推荐配置。如果对业务用量不清晰,可根据业务库及库表数量估算,匹配相应方案。

    本文方案基于单个业务库数据(行*列)变更量≤100W/小时进行推荐,如数据变更量超出范围,请联系帆软技术支持以获得进一步支持。

    本文方案按照常见客户规模提供资源建议。如业务库数量、表总量超出推荐范围,请联系帆软技术支持以获得进一步支持。

    本文方案以启用FineDataLink全部功能来进行配置推荐。如不部署kafka组件(自备kafka或不启用管道任务功能),请联系帆软技术支持以获得进一步支持。

    本文按照全新部署所有FineDataLink组件进行推荐。如自备部分组件(例如配置库、文件服务),可在对应服务器删减部分配置(方案中已详细备注)。

    随着使用时间和用量的增长,如果现有服务器资源不足,需要扩容,请联系帆软技术支持以获得进一步支持。

    方案简介

    资源配置要求

    如已安装运维平台,则无需准备运维平台服务器。

    如需FineDataLink组件服务器与运维平台服务器共用,两者服务器配置需要相加。

    定时任务管道任务服务器配置简介

    定时任务并发数:≤40

    估算:有业务库中数据表总量≤500

    管道任务并发数:≤4

    估算:业务库数量4

    1)主应用服务器:CPU8核、内存32G、磁盘350G

    部署「1fdl+1kafka+1nacos+1nginx内网关+1mysql配置库

    2)运维平台服务器:CPU4核、内存16G、磁盘120G

    部署「运维平台所有组件」

    不使用管道任务/自备kafka1)主应用服务器:CPU8核、内存32G、磁盘350G

    部署「1fdl+1nacos+1nginx内网关+1mysql配置库

    2)运维平台服务器:CPU4核、内存16G、磁盘120G

    部署「运维平台所有组件」

    定时任务并发数:40~80

    估算:所有业务库中数据表总500~1k

    不使用管道任务/自备kafka

    管道任务并发数:4~8

    估算:业务库数量4~8

    1)主应用服务器:CPU8核、内存32G、磁盘200G

    部署「1fdl

    2)组件服务器:CPU4核、内存16G、磁盘1T

    部署「1kafka+1nacos+1nginx内网关+1mysql配置库

    3)运维平台服务器:CPU4核、内存16G、磁盘120G

    部署「运维平台所有组件」

    定时任务并发数:80~320

    估算:所有业务库中数据表总1k~3k

    不使用管道任务/自备kafka

    1)主应用服务器:CPU16核、内存64G、磁盘350G

    部署1fdl+1nacos+1nginx内网关+1mysql配置库

    2)运维平台服务器:CPU4核、内存16G、磁盘120G

    部署「运维平台所有组件」

    管道任务并发数:8~32

    估算:业务库数量8~32

    1)主应用服务器:CPU16核、内存64G、磁盘200G

    部署「1fdl

    2)组件服务器:CPU4核、内存16G、磁盘1T

    部署「1kafka+1nacos+1nginx内网关+1mysql配置库

    3)运维平台服务器:CPU4核、内存16G、磁盘120G

    部署「运维平台所有组件」

    定时任务并发数:320~640

    估算:所有业务库中数据表总3k~6k

    不使用管道任务/自备kafka

    1)主应用服务器1:CPU32核、内存64G、磁盘200G

    部署「1fdl

    2)主应用服务器2:CPU32核、内存64G、磁盘200G

    部署「1fdl

    3)组件服务器:CPU8核、内存32G、磁盘300G

    部署「nacos+nginx内网关+mysql配置库+集群组件」

    4)运维平台服务器:CPU4核、内存16G、磁盘120G

    部署「运维平台所有组件」

    管道任务并发数:32~64

    估算:业务库数量32~64

    1)主应用服务器1:CPU32核、内存64G、磁盘300G

    部署「1fdl

    2)主应用服务器2:CPU32核、内存64G、磁盘300G

    部署「1fdl

    3)组件服务器:CPU8核、内存32G、磁盘1T

    部署「1kafka+1nacos+nginx内网关+mysql配置库+集群组件」

    4)运维平台服务器:CPU4核、内存16G、磁盘120G

    部署「运维平台所有组件」

    其他配置要求

    配置

    服务器要求

    服务器基础要求时间一致所有服务器时间一致,相差不能超过5秒

    服务器时间不一致,可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题

    时区一致

    所有服务器时区完全一致

    服务器时区不一致,可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题

    内网互通

    所有服务器内网互通,或可以开放端口访问

    下文将具体讲述对应端口开放要求

    不建议虚拟机由于虚拟机自身的特性,会存在资源竞争等情况,可能导致出现预期外的系统故障,因此不建议在虚拟机中部署帆软应用
    操作系统操作系统类型
    Linux
    操作系统架构X86_64
    操作系统内核3.10版本及以上
    操作系统软件

    推荐:Ubuntu 22 版

    支持:

    Ubuntu 18.04.4 及以上版本(不支持 Ubuntu20.04 版本 

    CentOS 7.3~7.9 版本

    redhat 7.6 及以上版本

    Rocky Linux 8.8~9.4版本

    注:CentOS操作系统目前已停止服务,因此帆软优先推荐使用Ubuntu操作系统

          使用Ubuntu操作系统时,请注意检查用户权限(默认root用户不是超管)

    CPUCPU核数

    参考资源配置要求章节

    CPU主频2.5GHz及以上
    内存剩余空闲物理内存参考资源配置要求章节
    磁盘剩余空闲磁盘大小参考资源配置要求章节

    注1:必须要有任一分区满足条件,不可将分区容量加和

    注2:自备组件可以降低磁盘要求

    如自备外接配置库组件mysql,对应服务器剩余空闲磁盘要求可降低50G

    如自备集群文件存储组件minio,对应服务器剩余空闲磁盘要求可降低100G

    磁盘类型

    如未自备文件服务组件,需要部署minio组件,磁盘类型推荐XFS

    注1:Ubuntu操作系统,默认磁盘类型一般不是XFS,请自行调整修改

    注2:阿里云服务器,默认磁盘类型一般不是XFS,请自行调整修改

    注3:该操作可能涉及格式化磁盘,帆软不提供相关指导,请在服务器厂商指导下谨慎进行

    磁盘性能

    读写速度:≥100M/s 

    外挂目录准备外挂目录

    准备FineDataLink项目挂载目录

    注:禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录,可在对应位置新建文件夹使用

    文件系统自动挂载

    外挂目录对应的文件系统需要配置重启自动挂载

    如果没有配置重启自动挂载,那么容器可能无法访问这些挂载目录,导致数据丢失或应用程序无法正常启动

    非共享路径

    外挂目录不能是一个共享路

    共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战,这些问题会影响容器应用程序的可靠性和速度

    权限与命令tar命令
    确保服务器已安装tar命令

    tar命令是一个用于打包和压缩文件的常用命令行工具

    运维平台需要使用该命令进行文件解压

    sed命令

    确保服务器已安装sed命令

    sed命令是一个用于处理文本的工具

    运维平台需要使用该命令进行文本处理

    sudo权限

    用于部署项目的服务器用户,必须具备相关sudo权限

    1)优先推荐使用root超管用户进行项目部署和运行

    2)如需使用非超管root用户进行项目的部署和运行

    请参考文档:Linux用户权限说明

    注:Ubuntu操作系统,默认的root用户并非超管用户,请务必再次确认所准备的用户是否满足上方超链的linux用户权限

    端口网络内网时延<1ms
    服务器内网带宽(项目组件间

    ≥100MB/s

    服务器外网带宽(项目与用户客户端间)≥10MB/s

    组件占用端口

    组件端口互通

    确认FineBI项目服务器网络

    FineDataLink组件默认资源配置

    之所以需要上文的配置,是因为FineDataLink项目的每个组件,有最低运行配置要求,如下表所示:

    注1:由于各组件不会同时满负荷运行,为了防止资源过剩,因此准备服务器时采用CPU共享策略。所要求的服务器CPU核心数,并非各个容器CPU上限之和。

    注2:由于各个组件容器内存必须满足当前JAVA内存配置,以分配给xmx、堆外内存、FineIO读写内存、CodeCache、元空间内存等,因此所要求的服务器内存,必须满足各个容器内存上限之和。

    组件
    CPU使用上限
    内存使用上限内存配置xmx磁盘
    FineDataLink4Core-

    默认内存为:

    机器内存减掉8G后的内存大小

    最大不会超过30G

    50G
    ops_agent1Core-1G-
    nginx1Core---
    mysql2Core--50G
    redis1Core-4G-
    minio1Core--100G
    kafka4Core-2G-
    nacos2Core2G--
    nacos_mysql2Core2G--

    附件列表


    主题: 部署帆软项目
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持