历史版本59 :确认FineDataLink项目服务器配置 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

概述编辑

运维平台支持部署FineDataLink4.1项目。

本文按照业务库数、数据开发定时任务数、数据管道任务数、任务并发数、单库数据变更量划分,提供三个标准方案,请按需选择。

方案适用须知

本文方案适用于全新部署场景,基于各类业务用量推荐配置。如果对业务用量不清晰,可根据业务库及库表数量估算,匹配相应方案。

本文方案基于单个业务库数据(行*列)变更量≤100W/小时进行推荐,如数据变更量超出范围,请联系帆软技术支持以获得进一步支持。

本文方案按照常见客户规模提供资源建议。如业务库数量、表总量超出推荐范围,请联系帆软技术支持以获得进一步支持。

本文方案以启用FineDataLink全部功能来进行配置推荐。如不部署kafka组件(自备kafka或不启用管道任务功能),请联系帆软技术支持以获得进一步支持。

本文按照全新部署所有FineDataLink组件进行推荐。如自备部分组件(例如配置库、文件服务),可在对应服务器删减部分配置(方案中已详细备注)。

随着使用时间和用量的增长,如果现有服务器资源不足,需要扩容,请联系帆软技术支持以获得进一步支持。

方案简介编辑

资源配置要求

如已安装运维平台,则无需准备运维平台服务器。

如需FineDataLink组件服务器与运维平台服务器共用,两者服务器配置需要相加。

定时任务管道任务服务器配置简介

定时任务并发数:≤40

估算:有业务库中数据表总量≤500

管道任务并发数:≤4

估算:业务库数量4

1)主应用服务器:CPU8核、内存32G、磁盘350G

部署「1fdl+1kafka+1nacos+1nginx内网关+1mysql配置库

2)运维平台服务器:CPU4核、内存16G、磁盘120G

部署「运维平台所有组件」

不使用管道任务/自备kafka1)主应用服务器:CPU8核、内存32G、磁盘350G

部署「1fdl+1nacos+1nginx内网关+1mysql配置库

2)运维平台服务器:CPU4核、内存16G、磁盘120G

部署「运维平台所有组件」

定时任务并发数:40~80

估算:所有业务库中数据表总500~1k

不使用管道任务/自备kafka

管道任务并发数:4~8

估算:业务库数量4~8

1)主应用服务器:CPU8核、内存32G、磁盘200G

部署「1fdl

2)组件服务器:CPU4核、内存16G、磁盘1T

部署「1kafka+1nacos+1nginx内网关+1mysql配置库

3)运维平台服务器:CPU4核、内存16G、磁盘120G

部署「运维平台所有组件」

定时任务并发数:80~320

估算:所有业务库中数据表总1k~3k

不使用管道任务/自备kafka

1)主应用服务器:CPU16核、内存64G、磁盘350G

部署1fdl+1nacos+1nginx内网关+1mysql配置库

2)运维平台服务器:CPU4核、内存16G、磁盘120G

部署「运维平台所有组件」

管道任务并发数:8~32

估算:业务库数量8~32

1)主应用服务器:CPU16核、内存64G、磁盘200G

部署「1fdl

2)组件服务器:CPU4核、内存16G、磁盘1T

部署「1kafka+1nacos+1nginx内网关+1mysql配置库

3)运维平台服务器:CPU4核、内存16G、磁盘120G

部署「运维平台所有组件」

定时任务并发数:320~640

估算:所有业务库中数据表总3k~6k

不使用管道任务/自备kafka

1)主应用服务器1:CPU32核、内存64G、磁盘200G

部署「1fdl

2)主应用服务器2:CPU32核、内存64G、磁盘200G

部署「1fdl

3)组件服务器:CPU8核、内存32G、磁盘300G

部署「nacos+nginx内网关+mysql配置库+集群组件」

4)运维平台服务器:CPU4核、内存16G、磁盘120G

部署「运维平台所有组件」

管道任务并发数:32~64

估算:业务库数量32~64

1)主应用服务器1:CPU32核、内存64G、磁盘300G

部署「1fdl

2)主应用服务器2:CPU32核、内存64G、磁盘300G

部署「1fdl

3)组件服务器:CPU8核、内存32G、磁盘1T

部署「1kafka+1nacos+nginx内网关+mysql配置库+集群组件」

4)运维平台服务器:CPU4核、内存16G、磁盘120G

部署「运维平台所有组件」

其他配置要求

配置

服务器要求

服务器基础要求时间一致所有服务器时间一致,相差不能超过5秒

服务器时间不一致,可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题

时区一致

所有服务器时区完全一致

服务器时区不一致,可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题

内网互通

所有服务器内网互通,或可以开放端口访问

下文将具体讲述对应端口开放要求

不建议虚拟机由于虚拟机自身的特性,会存在资源竞争等情况,可能导致出现预期外的系统故障,因此不建议在虚拟机中部署帆软应用
操作系统操作系统类型
Linux
操作系统架构X86_64
操作系统内核3.10版本及以上
操作系统软件

推荐:Ubuntu 22 版

支持:

Ubuntu 18.04.4 及以上版本(不支持 Ubuntu20.04 版本 

CentOS 7.3~7.9 版本

redhat 7.6 及以上版本

Rocky Linux 8.8~9.4版本

注:CentOS操作系统目前已停止服务,因此帆软优先推荐使用Ubuntu操作系统

      使用Ubuntu操作系统时,请注意检查用户权限(默认root用户不是超管)

CPUCPU核数

参考资源配置要求章节

CPU主频2.5GHz及以上
内存剩余空闲物理内存参考资源配置要求章节
磁盘剩余空闲磁盘大小参考资源配置要求章节

注1:必须要有任一分区满足条件,不可将分区容量加和

注2:自备组件可以降低磁盘要求

如自备外接配置库组件mysql,对应服务器剩余空闲磁盘要求可降低50G

如自备集群文件存储组件minio,对应服务器剩余空闲磁盘要求可降低100G

磁盘类型

如未自备文件服务组件,需要部署minio组件,磁盘类型推荐XFS

注1:Ubuntu操作系统,默认磁盘类型一般不是XFS,请自行调整修改

注2:阿里云服务器,默认磁盘类型一般不是XFS,请自行调整修改

注3:该操作可能涉及格式化磁盘,帆软不提供相关指导,请在服务器厂商指导下谨慎进行

磁盘性能

读写速度:≥100M/s 

外挂目录准备外挂目录

准备FineDataLink项目挂载目录

注:禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录,可在对应位置新建文件夹使用

文件系统自动挂载

外挂目录对应的文件系统需要配置重启自动挂载

如果没有配置重启自动挂载,那么容器可能无法访问这些挂载目录,导致数据丢失或应用程序无法正常启动

非共享路径

外挂目录不能是一个共享路

共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战,这些问题会影响容器应用程序的可靠性和速度

权限与命令tar命令
确保服务器已安装tar命令

tar命令是一个用于打包和压缩文件的常用命令行工具

运维平台需要使用该命令进行文件解压

sed命令

确保服务器已安装sed命令

sed命令是一个用于处理文本的工具

运维平台需要使用该命令进行文本处理

sudo权限

用于部署项目的服务器用户,必须具备相关sudo权限

1)优先推荐使用root超管用户进行项目部署和运行

2)如需使用非超管root用户进行项目的部署和运行

请参考文档:Linux用户权限说明

注:Ubuntu操作系统,默认的root用户并非超管用户,请务必再次确认所准备的用户是否满足上方超链的linux用户权限

端口网络内网时延<1ms
服务器内网带宽(项目组件间

≥100MB/s

服务器外网带宽(项目与用户客户端间)≥10MB/s

组件占用端口

组件端口互通

确认FineBI项目服务器网络

FineDataLink组件默认资源配置

之所以需要上文的配置,是因为FineDataLink项目的每个组件,有最低运行配置要求,如下表所示:

注1:由于各组件不会同时满负荷运行,为了防止资源过剩,因此准备服务器时采用CPU共享策略。所要求的服务器CPU核心数,并非各个容器CPU上限之和。

注2:由于各个组件容器内存必须满足当前JAVA内存配置,以分配给xmx、堆外内存、FineIO读写内存、CodeCache、元空间内存等,因此所要求的服务器内存,必须满足各个容器内存上限之和。

组件
CPU使用上限
内存使用上限内存配置xmx磁盘
FineDataLink4Core-

默认内存为:

机器内存减掉8G后的内存大小

最大不会超过30G

50G
ops_agent1Core-1G-
nginx1Core---
mysql2Core--50G
redis1Core-4G-
minio1Core--100G
kafka4Core-2G-
nacos2Core2G--
nacos_mysql2Core2G--