概述
本文讲解,运维平台部署的FineDataLink项目,涉及的服务器中,组件需要占用的端口,以及需要对外开放的端口。
注:端口占用检查和防火墙放行方法请参考:端口占用检查与防火墙配置
占用端口:检查端口是否空闲
先对照部署方案,确认要安装哪些组件,再检查对应端口:
部署了哪个组件,就在安装该组件的服务器上预留它使用的端口。没有部署的组件,不需要为它预留端口。
同一组件的不同端口可能有不同适用条件,例如仅集群使用、仅对接 Flink 使用,按表中条件准备。
使用企业已有的数据库、缓存或存储时,不再为未安装的内置组件预留默认端口,但仍需能访问已有服务的实际地址和端口。
端口已被其他程序占用时,选择其他可用端口,并同步修改部署配置和网络规则。
运维平台相关组件
| 组件 | 默认占用端口 | 用途 | 注意事项 |
|---|---|---|---|
| nginx | root 安装:80 非 root 安装:8090 配置 HTTPS 后通常为 443 | 访问运维平台 | 部署该组件时,按实际访问配置预留,不是三个端口一律全部占用 |
| ops-agent | 9071 | 监控和管理 OPS 服务器 | - |
| elasticsearch | 9200 | 保存 OPS 日志 | - |
| skywalking_oap | 11800、12800 | 收集请求处理过程,帮助排查故障 | - |
| Registry | 5000 | 保存部署、升级所需的安装镜像 | - |
OPS 的其他内置服务不需要额外预留服务器端口。
FineDataLink相关组件
| 部署位置 | 组件 | 默认占用端口 | 用途 | 注意事项 |
|---|---|---|---|---|
| 每台主应用服务器 | fdl | 8068 | 运行 FineDataLink | |
| 15500 | gpfdist 数据传输 | |||
| 7800 | 集群rpc通信 | 部署两个或更多 FDL 应用组成集群时预留 部署单个 FDL 应用时无需预留 | ||
| 7830 | 文件同步 | |||
| 7840 | 通用集群缓存 | |||
| 7850 | 数据库缓存 | |||
| 7870 | 集群成员信息管理 | |||
| 50053~50063 | 与 Flink 通信 | 部署并对接 Flink 时预留 由于遍历随机占用 1 个,建议预留完整重试范围 | ||
| ops-agent | 9070 | 监控和管理项目服务器 | FineDataLink项目每台服务器均需安装该组件并预留,且需确保主应用服务器与组件服务器中该端口一致 | |
| 组件服务器 | 帆软内网关 | root 安装:80 非 root 安装:自行准备1024及以上端口 配置 HTTPS 后通常为 443 | 用户统一访问入口 | 部署内网关时按实际配置预留 单应用且不安装内网关时无需预留 |
| MySQL | 3306 | 保存 FDL 配置信息 | 部署 MySQL 作为配置库时预留 使用自备数据库作为配置库时无需预留 | |
| Elasticsearch | 9200 | 保存日志 | 部署 ElasticSearch 作为日志服务时预留 不部署或使用企业已有服务时无需预留 | |
| Redis | 6379 | 保存运行状态 | 部署 Redis 作为状态服务时预留 单应用项目或使用企业已有服务时无需预留 | |
| MinIO | 9000、9006 | 保存文件 | 部署 MinIO 作为状态服务时预留 单应用项目或使用企业已有服务时无需预留 | |
| Kafka | 9092、9095 | 数据管道消息服务及监控 | 部署 Kafka 作为管道任务时预留 不部署该组件时无需预留 | |
| Nacos | 8848、9848 | 服务发现和配置管理 | 多应用项目部署 Nacos 时预留 单应用项目无需预留 | |
| Nacos_Mysql | 3307 | 供 Nacos 等组件使用的数据库 | ||
| Flink | 8081 | 计算服务及管理页面 | 项目部署完毕后需要添加 Flink 作为实时引擎服务时预留 不添加该组件时无需预留 | |
| ops-agent | 9070 | 监控和管理项目服务器 | FineDataLink项目每台服务器均需安装该组件并预留,且需确保主应用服务器与组件服务器中该端口一致 |
注:如不使用上表的默认端口,选择自备端口。请注意避开以下端口:
| 类型 | 原因 |
|---|---|
| 非root用户无法使用的端口 | 如使用非root用户进行安装,请勿准备1024以下端口 在Linux系统中,非root用户只能使用1024及以上端口 |
| Chrome浏览器非安全端口 | Chrome浏览器会将以下端口设别为非安全端口,以防止潜在的安全威胁 请勿使用以下端口,如使用这些接口,会导致Chrome浏览器无法访问运维平台 1、7、9、11、13、15、17、19、20、21、22、23、25、37、42、43、53、69、77、79、87、95、101、102、103、104、109、110、111、113、115、117、119、123、135、137、139、143、161、179、389、465、512、513、514、515、526、530、531、532、540、548、554、556、563、587、601、636、989、990、993、995、1719、1720、1723、2049、3659、4045、5060、5061、6000、6566、6665、6666、6667、6668、6669、6697、10080 注:由于Chrome仍在不断更新中,非安全端口清单可能会出现更新,最新端口请参考 Chrome官方文档 |
网络要求:允许谁访问哪里
如果配置了防火墙或云服务器安全组,请让网络管理员按下表配置。
表中端口均指被访问服务的端口。只允许指定的人员、服务器访问,不需要向互联网所有人开放。
用户访问
内网关是 FDL 的统一访问入口。
单应用项目未安装内网关时,用户直接访问 FDL 应用;安装内网关后,无需向全部用户开放每个 FDL 应用的服务端口。
| 谁需要访问 | 访问哪个组件 | 访问该组件的哪个端口(默认值供参考) | 用来做什么 |
|---|---|---|---|
| 运维人员的电脑 | 运维平台的 nginx 内网关 | HTTP/HTTPS 访问端口(root 默认 80,非 root 默认 8090,HTTPS 通常为 443) | 通过访问该组件访问运维平台 |
| FDL 用户的电脑 | FDL 的应用 | 应用服务端口(默认 8068) | FDL未安装内网关时,通过访问该组件访问FineDataLink项目 |
| FDL 用户的电脑 | FDL 的 nginx 内网关 | HTTP/HTTPS 访问端口(默认 80/443) | FDL安装了内网关时,通过访问该组件访问FineDataLink项目 |
运维平台与FineDataLink之间
「FDL 组件服务器」指配置库、日志、消息、计算等配套组件所在服务器,也可与应用同机。
注:由于运维平台和运维平台部署的项目,容器网络使用的是 Bridge 模式,导致了网络环境的隔离与独立。
因此如果运维平台和项目共用一台服务器,请确保运维平台的 ops 容器 IP 能访问 ops 宿主机的 22 端口
| 谁需要访问 | 访问哪个组件 | 访问该组件的哪个端口(默认值供参考) | 用来做什么 |
|---|---|---|---|
| 运维平台服务器 | 每台 FDL 服务器的 SSH 服务 | SSH 连接端口(默认 22) | 部署和运维 |
| 每台 FDL 服务器 | 运维平台的 Registry | 镜像仓库服务端口(默认 5000) | 获取安装镜像 |
| FDL 应用所在服务器 | 运维平台的 nginx 内网关 | HTTP/HTTPS 访问端口(按实际配置) | 与运维平台通信 |
| 每台 FDL 服务器的 ops-agent | 运维平台的 nginx 内网关 | HTTP/HTTPS 访问端口(按实际配置) | 上报运行情况 |
| 每台 FDL 服务器 | 运维平台的 ops-agent | Agent 服务端口(默认 9071) | 访问 OPS 管理程序 |
运维平台服务器 | 每台 FDL 服务器的 ops-agent | Agent 服务端口(默认 9070) | 访问 FDL 管理程序 |
| FDL 应用所在服务器 | 每台 FDL 服务器的 ops-agent | Agent 服务端口(默认 9070) | 访问 FDL 管理程序 |
| FDL 的 nginx 内网关 | 运维平台的 SkyWalking OAP | 链路追踪数据接收端口(默认 11800、12800) | 故障追踪 |
| FDL 应用 | 运维平台的 SkyWalking OAP | 链路追踪数据接收端口(默认 11800、12800) | 故障追踪 |
| 运维平台的 ops-agent | FDL 的 Kafka | metrics 监控端口(默认 9095) | 安装 Kafka 并采集运行情况时使用 |
FineDataLink项目内部
| 谁需要访问 | 访问哪个组件 | 访问该组件的哪个端口(默认值供参考) | 适用条件 |
|---|---|---|---|
| OPS、FDL 应用及组件服务器 | FDL 应用 | 应用服务端口(默认 8068) | 所有方案 |
| OPS、FDL 应用服务器 | FDL 的 nginx(内网关) | HTTP/HTTPS 访问端口(默认 80/443) | 安装了内网关 |
| FDL 应用及组件服务器 | FDL 应用 | gpfdist 数据传输端口(默认 15500) | 使用相应功能,需核验具体调用方 |
| 各 FDL 应用服务器 | 其他 FDL 应用 | 集群通信端口(默认 7800、7830、7840、7850、7870) | 两个或更多应用 |
| OPS、FDL 应用服务器 | FDL 的 MySQL | 数据库服务端口(默认 3306) | 安装了对应组件 |
| OPS、FDL 应用服务器 | FDL 的 Elasticsearch | 日志服务端口(默认 9200) | 安装了对应组件 |
| FDL 应用服务器 | FDL 的 Kafka | 消息服务端口(默认 9092) | 安装了对应组件 |
| OPS、FDL 应用服务器 | FDL 的 Redis | 缓存服务端口(默认 6379) | 实际使用该组件 |
| OPS、FDL 应用服务器 | FDL 的 MinIO | 文件存储服务端口(默认 9000、9006) | 实际使用该组件 |
| 项目内部实际使用 Nacos 的程序 | FDL 的 Nacos | HTTP 端口、gRPC 端口(分别默认 8848、9848) | 安装了对应组件 |
| Nacos 等依赖该数据库的程序 | FDL 的 Nacos_Mysql | 数据库服务端口(默认 3307) | 安装了对应组件 |
| Flink 所在服务器 | FDL 应用 | 与 Flink 通信的端口范围(默认 50053~50063) | 安装了对应组件 |
| OPS、FDL 应用服务器 | Flink | 计算服务/管理页面端口(默认 8081) | 安装了对应组件 |
业务数据源与目标库
实际执行任务的 FDL 应用、计算组件需能访问源端、目标端数据源的真实服务地址和端口。
FDL 内网关的 HTTP/HTTPS 端口不能代替业务数据连接端口。
注:OceanBase 白名单检测可能识别为容器 IP 而非宿主机 IP 。
因此,如需使用 OceanBase-Oracle 数据连接,必须额外确保帆软应用组件(fr/bi-web/fdl)的容器 IP 能访问 OceanBase 数据库端口。
在线下载和升级
在线下载或升级时,OPS 所在环境需访问云端镜像仓库的 HTTPS 服务:帆软云端镜像仓库
