概述
运维平台支持部署FineDataLink4.1项目。
本文按照业务库数、数据开发定时任务数、数据管道任务数、任务并发数、单库数据变更量划分,提供三个标准方案,请按需选择。
方案适用须知
本文方案适用于全新部署场景,基于各类业务用量推荐配置。如果对业务用量不清晰,可根据业务库及库表数量估算,匹配相应方案。
本文方案基于单个业务库数据(行*列)变更量≤100W/小时进行推荐,如数据变更量超出范围,请联系帆软技术支持以获得进一步支持。
本文方案按照常见客户规模提供资源建议。如业务库数量、表总量超出推荐范围,请联系帆软技术支持以获得进一步支持。
本文方案以启用FineDataLink全部功能来进行配置推荐。如不部署kafka组件(自备kafka或不启用管道任务功能),请联系帆软技术支持以获得进一步支持。
本文按照全新部署所有FineDataLink组件进行推荐。如自备部分组件(例如配置库、文件服务),可在对应服务器删减部分配置(方案中已详细备注)。
随着使用时间和用量的增长,如果现有服务器资源不足,需要扩容,请联系帆软技术支持以获得进一步支持。
方案简介
资源配置要求
如已安装运维平台,则无需准备运维平台服务器。
如需FineDataLink组件服务器与运维平台服务器共用,两者服务器配置需要相加。
定时任务 | 管道任务 | 服务器配置简介 |
---|---|---|
定时任务并发数:≤40 估算:所有业务库中数据表总量≤500 | 管道任务并发数:≤4 估算:业务库数量≤4 | 1)主应用服务器:CPU8核、内存32G、磁盘350G 部署「1fdl+1kafka+1nacos+1nginx内网关+1mysql配置库」 2)运维平台服务器:CPU4核、内存16G、磁盘120G 部署「运维平台所有组件」 |
不使用管道任务/自备kafka | 1)主应用服务器:CPU8核、内存32G、磁盘350G 部署「1fdl+1nacos+1nginx内网关+1mysql配置库」 2)运维平台服务器:CPU4核、内存16G、磁盘120G 部署「运维平台所有组件」 | |
定时任务并发数:40~80 估算:所有业务库中数据表总量500~1k | 不使用管道任务/自备kafka | |
管道任务并发数:4~8 估算:业务库数量4~8 | 1)主应用服务器:CPU8核、内存32G、磁盘200G 部署「1fdl」 2)组件服务器:CPU4核、内存16G、磁盘1T 部署「1kafka+1nacos+1nginx内网关+1mysql配置库」 3)运维平台服务器:CPU4核、内存16G、磁盘120G 部署「运维平台所有组件」 | |
定时任务并发数:80~320 估算:所有业务库中数据表总量1k~3k | 不使用管道任务/自备kafka | 1)主应用服务器:CPU16核、内存64G、磁盘350G 部署「1fdl+1nacos+1nginx内网关+1mysql配置库」 2)运维平台服务器:CPU4核、内存16G、磁盘120G 部署「运维平台所有组件」 |
管道任务并发数:8~32 估算:业务库数量8~32 | 1)主应用服务器:CPU16核、内存64G、磁盘200G 部署「1fdl」 2)组件服务器:CPU4核、内存16G、磁盘1T 部署「1kafka+1nacos+1nginx内网关+1mysql配置库」 3)运维平台服务器:CPU4核、内存16G、磁盘120G 部署「运维平台所有组件」 | |
定时任务并发数:320~640 估算:所有业务库中数据表总量3k~6k | 不使用管道任务/自备kafka | 1)主应用服务器1:CPU32核、内存64G、磁盘200G 部署「1fdl」 2)主应用服务器2:CPU32核、内存64G、磁盘200G 部署「1fdl」 3)组件服务器:CPU8核、内存32G、磁盘300G 部署「nacos+nginx内网关+mysql配置库+集群组件」 4)运维平台服务器:CPU4核、内存16G、磁盘120G 部署「运维平台所有组件」 |
管道任务并发数:32~64 估算:业务库数量32~64 | 1)主应用服务器1:CPU32核、内存64G、磁盘300G 部署「1fdl」 2)主应用服务器2:CPU32核、内存64G、磁盘300G 部署「1fdl」 3)组件服务器:CPU8核、内存32G、磁盘1T 部署「1kafka+1nacos+nginx内网关+mysql配置库+集群组件」 4)运维平台服务器:CPU4核、内存16G、磁盘120G 部署「运维平台所有组件」 |
其他配置要求
配置 | 服务器要求 | |
---|---|---|
服务器基础要求 | 时间一致 | 所有服务器时间一致,相差不能超过5秒 服务器时间不一致,可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题 |
时区一致 | 所有服务器时区完全一致 服务器时区不一致,可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题 | |
内网互通 | 所有服务器内网互通,或可以开放端口访问 下文将具体讲述对应端口开放要求 | |
不建议虚拟机 | 由于虚拟机自身的特性,会存在资源竞争等情况,可能导致出现预期外的系统故障,因此不建议在虚拟机中部署帆软应用 | |
操作系统 | 操作系统类型 | Linux |
操作系统架构 | X86_64 | |
操作系统内核 | 3.10版本及以上 | |
操作系统软件 | 推荐:Ubuntu 22 版本 支持: Ubuntu 18.04.4 及以上版本(不支持 Ubuntu20.04 版本 ) CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注:CentOS操作系统目前已停止服务,因此帆软优先推荐使用Ubuntu操作系统 使用Ubuntu操作系统时,请注意检查用户权限(默认root用户不是超管) | |
CPU | CPU核数 | 参考资源配置要求章节 |
CPU主频 | 2.5GHz及以上 | |
内存 | 剩余空闲物理内存 | 参考资源配置要求章节 |
磁盘 | 剩余空闲磁盘大小 | 参考资源配置要求章节 注1:必须要有任一分区满足条件,不可将分区容量加和 注2:自备组件可以降低磁盘要求 如自备外接配置库组件mysql,对应服务器剩余空闲磁盘要求可降低50G 如自备集群文件存储组件minio,对应服务器剩余空闲磁盘要求可降低100G |
磁盘类型 | 如未自备文件服务组件,需要部署minio组件,磁盘类型推荐是XFS 注1:Ubuntu操作系统,默认磁盘类型一般不是XFS,请自行调整修改 注2:阿里云服务器,默认磁盘类型一般不是XFS,请自行调整修改 注3:该操作可能涉及格式化磁盘,帆软不提供相关指导,请在服务器厂商指导下谨慎进行 | |
磁盘性能 | 读写速度:≥100M/s | |
外挂目录 | 准备外挂目录 | 注:禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录,可在对应位置新建文件夹使用 |
文件系统自动挂载 | 外挂目录对应的文件系统需要配置重启自动挂载 如果没有配置重启自动挂载,那么容器可能无法访问这些挂载目录,导致数据丢失或应用程序无法正常启动 | |
非共享路径 | 外挂目录不能是一个共享路径 共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战,这些问题会影响容器应用程序的可靠性和速度 | |
权限与命令 | tar命令 | 确保服务器已安装tar命令 tar命令是一个用于打包和压缩文件的常用命令行工具 运维平台需要使用该命令进行文件解压 |
sed命令 | 确保服务器已安装sed命令 sed命令是一个用于处理文本的工具 运维平台需要使用该命令进行文本处理 | |
sudo权限 | 用于部署项目的服务器用户,必须具备相关sudo权限 1)优先推荐使用root超管用户进行项目部署和运行 2)如需使用非超管root用户进行项目的部署和运行 请参考文档:Linux用户权限说明 注:Ubuntu操作系统,默认的root用户并非超管用户,请务必再次确认所准备的用户是否满足上方超链的linux用户权限 | |
端口网络 | 内网时延 | <1ms |
服务器内网带宽(项目组件间) | ≥100MB/s | |
服务器外网带宽(项目与用户客户端间) | ≥10MB/s | |
组件占用端口 组件端口互通 | 确认FineBI项目服务器网络 |
附
FineDataLink组件默认资源配置
之所以需要上文的配置,是因为FineDataLink项目的每个组件,有最低运行配置要求,如下表所示:
注1:由于各组件不会同时满负荷运行,为了防止资源过剩,因此准备服务器时采用CPU共享策略。所要求的服务器CPU核心数,并非各个容器CPU上限之和。
注2:由于各个组件容器内存必须满足当前JAVA内存配置,以分配给xmx、堆外内存、FineIO读写内存、CodeCache、元空间内存等,因此所要求的服务器内存,必须满足各个容器内存上限之和。
组件 | CPU使用上限 | 内存使用上限 | 内存配置xmx | 磁盘 |
---|---|---|---|---|
FineDataLink | 4Core | - | 默认内存为: 机器内存减掉8G后的内存大小 最大不会超过30G | 50G |
ops_agent | 1Core | - | 1G | - |
nginx | 1Core | - | - | - |
mysql | 2Core | - | - | 50G |
redis | 1Core | - | 4G | - |
minio | 1Core | - | - | 100G |
kafka | 4Core | - | 2G | - |
nacos | 2Core | 2G | - | - |
nacos_mysql | 2Core | 2G | - | - |