概述编辑
运维平台支持部署FineDataLink4.1项目。
本文按照数据开发定时任务数、数据管道任务数、实时任务数划分，提供多个标准方案，请按需选择。
方案适用须知
本文方案适用于全新部署场景，基于各类业务用量推荐配置，业务管理员需要给出需要处理的任务个数并进行匹配。
本文方案基于单个业务库数据（行*列）变更量≤100W/小时进行推荐，如数据变更量超出范围，请联系帆软技术支持以获得进一步支持。
本文方案按照常见客户规模提供资源建议。如任务数量超出推荐范围，请联系帆软技术支持以获得进一步支持。
本文按照全新部署所有FineDataLink组件进行推荐。如自备部分组件（例如配置库、文件服务），可在对应服务器删减部分配置（方案中已详细备注）。
随着使用时间和用量的增长，如果现有服务器资源不足，需要扩容，请联系帆软技术支持以获得进一步支持。
方案简介
| 方案 | 适用客户情况 | 服务器配置简介 |
|---|---|---|
| 最低配置 | 开发任务数＜35 不支持管道任务 | 仅面向业务用量极小的客户，其中的运维平台应为基础版而非标准版，不支持链路追踪和健康观测等监控指标 服务器：CPU8核、内存16G、磁盘300G 部署「1fdl+1nginx内网关+1mysql配置库」 部署「运维平台所有组件（不包括elasticsearch、skywalking_oap）」 |
| 方案一 | 开发任务数＜150 不支持管道任务 | 服务器：CPU8核、内存32G、磁盘500G 部署「1fdl+1nginx内网关+1mysql配置库」 部署「运维平台所有组件」 |
| 方案二 | 开发任务数＜300 管道任务数＜16 实时任务数＜20 | 服务器：CPU16核、内存64G、磁盘2T 部署「1fdl+1kafka+1nginx内网关+1mysql配置库」 部署「运维平台所有组件」 |
| 方案三 | 开发任务数＜500 管道任务数＜16 实时任务数＜40 | 1）FineDataLink主应用服务器：CPU16核、内存64G、磁盘500G 部署「1fdl」 2）FineDataLink组件&运维平台服务器：CPU8核、内存32G、磁盘2T 部署「1kafka+1nginx内网关+1mysql配置库」 部署「运维平台所有组件」 |
| 方案四 | 开发任务数＜500*N 管道任务数＜16*N 实时任务数＜40*N | 1）N 台 FineDataLink 主应用服务器 每一台要求：CPU16核、内存64G、磁盘500G 每一台部署「1fdl」 2）FineDataLink组件&运维平台服务器：CPU8核、内存32G、磁盘2T 部署「1kafka+1nacos+1nginx内网关+1mysql配置库」 部署「运维平台所有组件」 |
最低配置方案编辑
该方案仅面向业务用量较小、服务器资源紧张的客户。
该方案部署的运维平台，只能是基础版而非标准版，即不支持链路追踪和健康观测等监控指标。
包括一台服务器：CPU8核、内存16G、磁盘300G
部署「1fdl+1nginx内网关+1mysql配置库」
部署「运维平台所有组件（不包括elasticsearch、skywalking_oap）」
| 配置 | 服务器要求 | |
|---|---|---|
| 安装组件一览 | 用于安装FineDataLink和运维平台全部组件 1）FineDataLink组件作用可参考：了解运维项目组件作用 本方案不支持管道功能，因此不部署管道相关组件
2）运维平台组件作用可参考：了解运维平台组件作用 本方案不支持链路功能，因此不部署链路追踪相关组件 如已安装运维平台，请忽略
| |
| 服务器基础要求 | 不建议虚拟机 | 由于虚拟机自身的特性，会存在资源竞争等情况，可能导致出现预期外的系统故障，因此不建议在虚拟机中部署帆软应用 |
| 操作系统 | 操作系统类型 | Linux |
| 操作系统架构 | X86_64 | |
| 操作系统内核 | 3.10版本及以上 | |
| 操作系统软件 | 推荐：Ubuntu 22 版本 支持： Ubuntu 18.04.4 及以上版本（不支持 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS操作系统目前已停止服务，因此帆软优先推荐使用Ubuntu操作系统 使用Ubuntu操作系统时，请注意检查用户权限（默认root用户不是超管） | |
| CPU | CPU核数 | 8核 |
| CPU主频 | 2.5GHz及以上 | |
| 内存 | 剩余空闲物理内存 | 16G |
| 磁盘 | 剩余空闲磁盘大小 | 服务器中存在一个分区剩余可用空间大于 300G 注：必须要有任一分区满足条件，不可将分区容量加和 |
| 外挂目录 | 准备外挂目录 | 注：禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录，可在对应位置新建文件夹使用 |
| 文件系统自动挂载 | 外挂目录对应的文件系统需要配置重启自动挂载 如果没有配置重启自动挂载，那么容器可能无法访问这些挂载目录，导致数据丢失或应用程序无法正常启动 | |
| 非共享路径 | 外挂目录不能是一个共享路径 共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战，这些问题会影响容器应用程序的可靠性和速度 | |
| 权限与命令 | tar命令 | 确保服务器已安装tar命令 tar命令是一个用于打包和压缩文件的常用命令行工具 运维平台需要使用该命令进行文件解压 |
| sed命令 | 确保服务器已安装sed命令 sed命令是一个用于处理文本的工具 运维平台需要使用该命令进行文本处理 | |
| sudo权限 | 用于部署项目的服务器用户，必须具备相关sudo权限 1）优先推荐使用root超管用户进行项目部署和运行 2）如需使用非超管root用户进行项目的部署和运行 请参考文档：Linux用户权限说明 注：Ubuntu操作系统，默认的root用户并非超管用户，请务必再次确认所准备的用户是否满足上方超链的linux用户权限 | |
| 端口网络 | 内网时延 | <1ms |
| 服务器内网带宽（应用和业务数据库间） | ≥100Mbps（12.5MB/s） | |
| 服务器外网带宽（项目与用户客户端间） | ≥10Mbps（1.25MB/s） | |
组件占用端口 组件端口互通 | ||
方案一编辑
服务器：CPU8核、内存32G、磁盘500G
部署「1fdl+1nginx内网关+1mysql配置库」
部署「运维平台所有组件」
| 配置 | 服务器要求 | |
|---|---|---|
| 安装组件一览 | 用于安装FineDataLink和运维平台全部组件 1）FineDataLink组件作用可参考：了解运维项目组件作用 本方案不支持管道功能，因此不部署管道相关组件
2）运维平台组件作用可参考：了解运维平台组件作用 如已安装运维平台，请忽略
| |
| 服务器基础要求 | 不建议虚拟机 | 由于虚拟机自身的特性，会存在资源竞争等情况，可能导致出现预期外的系统故障，因此不建议在虚拟机中部署帆软应用 |
| 操作系统 | 操作系统类型 | Linux |
| 操作系统架构 | X86_64 | |
| 操作系统内核 | 3.10版本及以上 | |
| 操作系统软件 | 推荐：Ubuntu 22 版本 支持： Ubuntu 18.04.4 及以上版本（不支持 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS操作系统目前已停止服务，因此帆软优先推荐使用Ubuntu操作系统 使用Ubuntu操作系统时，请注意检查用户权限（默认root用户不是超管） | |
| CPU | CPU核数 | 8核 |
| CPU主频 | 2.5GHz及以上 | |
| 内存 | 剩余空闲物理内存 | 32G |
| 磁盘 | 剩余空闲磁盘大小 | 服务器中存在一个分区剩余可用空间大于 500G 注1：必须要有任一分区满足条件，不可将分区容量加和 注2：自备组件可以降低磁盘要求 如自备外接配置库组件，服务器剩余空闲磁盘要求可降低50G |
| 外挂目录 | 准备外挂目录 | 注：禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录，可在对应位置新建文件夹使用 |
| 文件系统自动挂载 | 外挂目录对应的文件系统需要配置重启自动挂载 如果没有配置重启自动挂载，那么容器可能无法访问这些挂载目录，导致数据丢失或应用程序无法正常启动 | |
| 非共享路径 | 外挂目录不能是一个共享路径 共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战，这些问题会影响容器应用程序的可靠性和速度 | |
| 权限与命令 | tar命令 | 确保服务器已安装tar命令 tar命令是一个用于打包和压缩文件的常用命令行工具 运维平台需要使用该命令进行文件解压 |
| sed命令 | 确保服务器已安装sed命令 sed命令是一个用于处理文本的工具 运维平台需要使用该命令进行文本处理 | |
| sudo权限 | 用于部署项目的服务器用户，必须具备相关sudo权限 1）优先推荐使用root超管用户进行项目部署和运行 2）如需使用非超管root用户进行项目的部署和运行 请参考文档：Linux用户权限说明 注：Ubuntu操作系统，默认的root用户并非超管用户，请务必再次确认所准备的用户是否满足上方超链的linux用户权限 | |
| 端口网络 | 内网时延 | <1ms |
| 服务器内网带宽（应用和业务数据库间） | ≥1000Mbps（125MB/s） | |
| 服务器外网带宽（项目与用户客户端间） | ≥10Mbps（1.25MB/s） | |
组件占用端口 组件端口互通 | ||
方案二编辑
服务器：CPU16核、内存64G、磁盘2T
部署「1fdl+1kafka+1nginx内网关+1mysql配置库」
部署「运维平台所有组件」
| 配置 | 服务器要求 | |
|---|---|---|
| 安装组件一览 | 用于安装FineDataLink和运维平台全部组件 1）FineDataLink组件作用可参考：了解运维项目组件作用
2）运维平台组件作用可参考：了解运维平台组件作用 如已安装运维平台，请忽略
| |
| 服务器基础要求 | 不建议虚拟机 | 由于虚拟机自身的特性，会存在资源竞争等情况，可能导致出现预期外的系统故障，因此不建议在虚拟机中部署帆软应用 |
| 操作系统 | 操作系统类型 | Linux |
| 操作系统架构 | X86_64 | |
| 操作系统内核 | 3.10版本及以上 | |
| 操作系统软件 | 推荐：Ubuntu 22 版本 支持：
注：CentOS操作系统目前已停止服务，因此帆软优先推荐使用Ubuntu操作系统 使用Ubuntu操作系统时，请注意检查用户权限（默认root用户不是超管） | |
| CPU | CPU核数 | 8核 |
| CPU主频 | 2.5GHz及以上 | |
| 内存 | 剩余空闲物理内存 | 32G |
| 磁盘 | 剩余空闲磁盘大小 | 服务器中存在一个分区剩余可用空间大于 2T 注1：必须要有任一分区满足条件，不可将分区容量加和 注2：自备组件可以降低磁盘要求 如自备kafka组件，服务器剩余空闲磁盘要求可降低1.5T 如自备外接配置库组件，服务器剩余空闲磁盘要求可降低50G |
| 外挂目录 | 准备外挂目录 | 注：禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录，可在对应位置新建文件夹使用 |
| 文件系统自动挂载 | 外挂目录对应的文件系统需要配置重启自动挂载 如果没有配置重启自动挂载，那么容器可能无法访问这些挂载目录，导致数据丢失或应用程序无法正常启动 | |
| 非共享路径 | 外挂目录不能是一个共享路径 共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战，这些问题会影响容器应用程序的可靠性和速度 | |
| 权限与命令 | tar命令 | 确保服务器已安装tar命令 tar命令是一个用于打包和压缩文件的常用命令行工具 运维平台需要使用该命令进行文件解压 |
| sed命令 | 确保服务器已安装sed命令 sed命令是一个用于处理文本的工具 运维平台需要使用该命令进行文本处理 | |
| sudo权限 | 用于部署项目的服务器用户，必须具备相关sudo权限 1）优先推荐使用root超管用户进行项目部署和运行 2）如需使用非超管root用户进行项目的部署和运行 请参考文档：Linux用户权限说明 注：Ubuntu操作系统，默认的root用户并非超管用户，请务必再次确认所准备的用户是否满足上方超链的linux用户权限 | |
| 端口网络 | 内网时延 | <1ms |
| 服务器内网带宽（应用和业务数据库间） | ≥1000Mbps（125MB/s） | |
| 服务器外网带宽（项目与用户客户端间） | ≥10Mbps（1.25MB/s） | |
组件占用端口 组件端口互通 | ||
方案三编辑
1）FineDataLink主应用服务器：CPU16核、内存64G、磁盘500G
部署「1fdl」
2）FineDataLink组件&运维平台服务器：CPU8核、内存32G、磁盘2T
部署「1kafka+1nginx内网关+1mysql配置库」
部署「运维平台所有组件」
| 配置 | FineDataLink主应用服务器要求 | FineDataLink组件&运维平台服务器 | |
|---|---|---|---|
| 安装组件一览 | 用于安装FineDataLink应用组件 FineDataLink组件作用可参考：了解运维项目组件作用
| 1）用于安装FineDataLink管道和运维组件 FineDataLink组件作用可参考：了解运维项目组件作用
2）用于安装运维平台全部组件 运维平台组件作用可参考：了解运维平台组件作用 如已安装运维平台，请忽略
| |
| 服务器基础要求 | 时间一致 | 所有服务器时间一致，相差不能超过5秒 服务器时间不一致，可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题 | |
| 时区一致 | 所有服务器时区完全一致 服务器时区不一致，可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题 | ||
| 内网互通 | 所有服务器内网互通，或可以开放端口访问 下文将具体讲述对应端口开放要求 | ||
| 不建议虚拟机 | 由于虚拟机自身的特性，会存在资源竞争等情况，可能导致出现预期外的系统故障，因此不建议在虚拟机中部署帆软应用 | ||
| 操作系统 | 操作系统类型 | Linux | |
| 操作系统架构 | X86_64 | ||
| 操作系统内核 | 3.10版本及以上 | ||
| 操作系统软件 | 推荐：Ubuntu 22 版本 支持： Ubuntu 18.04.4 及以上版本（不支持 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS操作系统目前已停止服务，因此帆软优先推荐使用Ubuntu操作系统 使用Ubuntu操作系统时，请注意检查用户权限（默认root用户不是超管） | ||
| CPU | CPU核数 | 16核 | 8核 |
| CPU主频 | 2.5GHz及以上 | ||
| 内存 | 剩余空闲物理内存 | 64G | 32G |
| 磁盘 | 剩余空闲磁盘大小 | 服务器中存在一个分区剩余可用空间大于 500G 注：必须要有任一分区满足条件，不可将分区容量加和 | 服务器中存在一个分区剩余可用空间大于 2T 注1：必须要有任一分区满足条件，不可将分区容量加和 注2：自备组件可以降低磁盘要求 如自备kafka组件，服务器剩余空闲磁盘要求可降低1.5T 如自备外接配置库组件，服务器剩余空闲磁盘要求可降低50G |
| 外挂目录 | 准备外挂目录 | 准备FineDataLink项目挂载目录 注：禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录，可在对应位置新建文件夹使用 | 注：禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录，可在对应位置新建文件夹使用 |
| 文件系统自动挂载 | 外挂目录对应的文件系统需要配置重启自动挂载 如果没有配置重启自动挂载，那么容器可能无法访问这些挂载目录，导致数据丢失或应用程序无法正常启动 | ||
| 非共享路径 | 外挂目录不能是一个共享路径 共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战，这些问题会影响容器应用程序的可靠性和速度 | ||
| 权限与命令 | tar命令 | 确保服务器已安装tar命令 tar命令是一个用于打包和压缩文件的常用命令行工具 运维平台需要使用该命令进行文件解压 | |
| sed命令 | 确保服务器已安装sed命令 sed命令是一个用于处理文本的工具 运维平台需要使用该命令进行文本处理 | ||
| sudo权限 | 用于部署项目的服务器用户，必须具备相关sudo权限 1）优先推荐使用root超管用户进行项目部署和运行 2）如需使用非超管root用户进行项目的部署和运行 请参考文档：Linux用户权限说明 注：Ubuntu操作系统，默认的root用户并非超管用户，请务必再次确认所准备的用户是否满足上方超链的linux用户权限 | ||
| 端口网络 | 内网时延 | <1ms | |
| 服务器内网带宽（应用和业务数据库间） | ≥1000Mbps（125MB/s） | ||
| 服务器外网带宽（项目与用户客户端间） | ≥10Mbps（1.25MB/s） | ||
组件占用端口 组件端口互通 | 确认FineDataLink项目服务器网络 | ||
方案四编辑
1）N 台 FineDataLink 主应用服务器
每一台要求：CPU16核、内存64G、磁盘500G
每一台部署「1fdl」
2）FineDataLink组件&运维平台服务器：CPU8核、内存32G、磁盘2T
部署「1kafka+1nacos+1nginx内网关+1mysql配置库」
部署「运维平台所有组件」
| 配置 | 每台FineDataLink主应用服务器要求 | FineDataLink组件&运维平台服务器 | |
|---|---|---|---|
| 安装组件一览 | 用于安装FineDataLink应用组件 FineDataLink组件作用可参考：了解运维项目组件作用
| 1）用于安装FineDataLink管道、集群和运维组件 FineDataLink组件作用可参考：了解运维项目组件作用
2）用于安装运维平台全部组件 运维平台组件作用可参考：了解运维平台组件作用 如已安装运维平台，请忽略
| |
| 服务器基础要求 | 时间一致 | 所有服务器时间一致，相差不能超过5秒 服务器时间不一致，可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题 | |
| 时区一致 | 所有服务器时区完全一致 服务器时区不一致，可能会导致定时任务执行错误、日志记录混乱、数据不一致等多种问题 | ||
| 内网互通 | 所有服务器内网互通，或可以开放端口访问 下文将具体讲述对应端口开放要求 | ||
| 不建议虚拟机 | 由于虚拟机自身的特性，会存在资源竞争等情况，可能导致出现预期外的系统故障，因此不建议在虚拟机中部署帆软应用 | ||
| 操作系统 | 操作系统类型 | Linux | |
| 操作系统架构 | X86_64 | ||
| 操作系统内核 | 3.10版本及以上 | ||
| 操作系统软件 | 推荐：Ubuntu 22 版本 支持： Ubuntu 18.04.4 及以上版本（不支持 Ubuntu20.04 版本 ） CentOS 7.3~7.9 版本 redhat 7.6 及以上版本 Rocky Linux 8.8~9.4版本 注：CentOS操作系统目前已停止服务，因此帆软优先推荐使用Ubuntu操作系统 使用Ubuntu操作系统时，请注意检查用户权限（默认root用户不是超管） | ||
| CPU | CPU核数 | 16核 | 8核 |
| CPU主频 | 2.5GHz及以上 | ||
| 内存 | 剩余空闲物理内存 | 64G | 32G |
| 磁盘 | 剩余空闲磁盘大小 | 服务器中存在一个分区剩余可用空间大于 500G 注：必须要有任一分区满足条件，不可将分区容量加和 | 服务器中存在一个分区剩余可用空间大于 2T 注1：必须要有任一分区满足条件，不可将分区容量加和 注2：自备组件可以降低磁盘要求 如自备kafka组件，服务器剩余空闲磁盘要求可降低1.5T 如自备外接配置库组件，服务器剩余空闲磁盘要求可降低50G 如自备文件存储组件，服务器剩余空闲磁盘要求可降低100G |
| 外挂目录 | 准备外挂目录 | 准备FineDataLink项目挂载目录 注：禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录，可在对应位置新建文件夹使用 | 注：禁止直接使用/、/usr、/root、/usr/local四个目录作为挂载目录，可在对应位置新建文件夹使用 |
| 文件系统自动挂载 | 外挂目录对应的文件系统需要配置重启自动挂载 如果没有配置重启自动挂载，那么容器可能无法访问这些挂载目录，导致数据丢失或应用程序无法正常启动 | ||
| 非共享路径 | 外挂目录不能是一个共享路径 共享文件系统可能导致性能下降、文件权限问题和数据一致性挑战，这些问题会影响容器应用程序的可靠性和速度 | ||
| 权限与命令 | tar命令 | 确保服务器已安装tar命令 tar命令是一个用于打包和压缩文件的常用命令行工具 运维平台需要使用该命令进行文件解压 | |
| sed命令 | 确保服务器已安装sed命令 sed命令是一个用于处理文本的工具 运维平台需要使用该命令进行文本处理 | ||
| sudo权限 | 用于部署项目的服务器用户，必须具备相关sudo权限 1）优先推荐使用root超管用户进行项目部署和运行 2）如需使用非超管root用户进行项目的部署和运行 请参考文档：Linux用户权限说明 注：Ubuntu操作系统，默认的root用户并非超管用户，请务必再次确认所准备的用户是否满足上方超链的linux用户权限 | ||
| 端口网络 | 内网时延 | <1ms | |
| 服务器内网带宽（应用和业务数据库间） | ≥1000Mbps（125MB/s） | ||
| 服务器外网带宽（项目与用户客户端间） | ≥10Mbps（1.25MB/s） | ||
组件占用端口 组件端口互通 | 确认FineDataLink项目服务器网络 | ||
附编辑
FineDataLink组件默认资源配置
之所以需要上文的配置，是因为FineDataLink项目的每个组件，有最低运行配置要求，如下表所示：
注1：由于各组件不会同时满负荷运行，为了防止资源过剩，因此准备服务器时采用CPU共享策略。所要求的服务器CPU核心数，并非各个容器CPU上限之和。
注2：由于各个组件容器内存必须满足当前JAVA内存配置，以分配给xmx、堆外内存、FineIO读写内存、CodeCache、元空间内存等，因此所要求的服务器内存，必须满足各个容器内存上限之和。
| 组件 | CPU使用上限 | 内存使用上限 | 内存配置xmx | 磁盘 |
|---|---|---|---|---|
| FineDataLink | 4Core | - | 默认内存为： 机器内存减掉8G后的内存大小 最小8G，最大30G | 50G |
| ops_agent | 1Core | 1G | - | - |
| nginx | 1Core | 2G | - | - |
| mysql | 2Core | 6G | - | 50G |
| redis | 1Core | 4.5G | 4G | - |
| minio | 1Core | 2G | - | 100G |
| kafka | 4Core | 4G | 2G | - |
| nacos | 2Core | 2G | - | - |
| nacos_mysql | 2Core | 2G | - | - |