历史版本3 :准备FineDataLink项目挂载目录 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

运维平台版本
功能变更
V1.8.0-

1.2 功能简介

运维平台支持部署并直接接入全新FineReport、FineBI、FineDataLink应用。

本文将介绍,如何通过 运维平台 ,容器化部署全新的FineDataLink集群项目。

注:请在容器化部署前,先部署好FineOps运维平台。安装步骤请参见:部署运维平台 。

2. 准备服务器编辑

2.1 确认需要安装的组件

通过运维平台容器化部署的FineDataLink集群项目,不仅仅包括FineDataLink工程,还包括配套的外接配置库、集群组件、运维组件等等。

请先确认好需要安装的组件。本文按照安装全部组件来进行示例讲解。

服务器组件

是否安装

组件说明
主应用服务器FineDataLink

必须安装

作用:FineDataLink的工程节点组件,其中不带任何的demo数据

说明:必须安装

ops_agent

必须安装

作用:为服务器物理节点配套安装,用于管理组件,容器化升级也是由该组件完成

说明:FineDataLink项目涉及的每个服务器都会安装一个ops_agent

node_exporter

必须安装

作用:服务器物理节点的exporter,收集物理服务器的各种指标信息

说明:每一个主应用服务器,都会自动安装一个node_exporter组件

filebeat

必须安装

作用:日志采集

说明:与elasticSearch组件配套安装,在每个FineBI工程节点所在服务器安装filebeat组件

组件服务器
elasticsearch

必须安装

作用:日志存储

说明:替换FineDataLink中原有的swift作为日志存储

对项目中FineDataLink、外接数据库、业务库和其他集群组件的请求进行采集

集群必须安装该组件,且请勿暂停该组件,否则会导致项目操作日志丢失

elasticsearch_exporter

必须安装

作用:elasticSearch的exporter,收集elasticSearch的指标

说明:与elasticSearch组件配套安装

nginx

必须安装

作用:提供集群的负载转发服务

说明:集群其他组件服务的入口、使用,都从这个入口访问

nginx_exporter

必须安装

作用:nginx服务的exporter,收集nginx的指标信息

说明:与nginx组件配套安装

nacos须安装

作用:服务注册中心

说明:保证用户调度端请求,即定时任务内节点的执行调度的高可用性和高并发,能够合理分配到不同的集群节点上

mysql(nacos)

须安装

作用:nacos服务所需的mysql组件

说明:与nacos组件配套安装

mysql

可选安装

作用:作为集群的外接配置库

说明:可选安装

如果安装该组件,会安装一个MySQL5数据库,作为集群的外接配置库

如不安装该组件,用户必须自行准备好一个外接配置库,否则无法部署

mysqld_exporter

可选安装

作用:MySQL服务的exporter,收集MySQL的各种指标信息

说明:与MySQL组件配套安装

redis可选安装

作用:作为集群的状态服务器

说明:可选安装

如果安装该组件,会安装一个单机redis,作为集群的状态服务器

如不安装该组件,用户必须自行准备好一个redis组件,否则无法部署

redis_exporter

可选安装

作用:redis服务的exporter,收集redis的各种指标信息

说明:与redis组件配套安装

minio

可选安装

作用:作为集群的文件服务器

说明:可选安装

如果安装该组件,会安装一个minio,它是一款高性能、分布式的对象存储系统,作为集群的文件服务器

如不安装该组件,用户必须自行准备好一个FineDataLink支持的文件服务器,否则无法部署

Kafka可选安装

作用:支撑管道任务相关功能

说明:可选安装

如不安装该组件,将无法使用FineDataLink中管道任务相关功能

Kafka_exporter可选安装

作用:Kafka的exporter,收集Kafka的指标

说明:与Kafka组件配套安装

ops_agent

必须安装

作用:为服务器物理节点配套安装,用于管理组件,容器化升级也是由该组件完成

说明:FineDataLink项目涉及的每个服务器都会安装一个ops_agent

node_exporter必须安装作用:服务器物理节点的exporter,收集物理服务器的各种指标信息

说明:每一个组件服务器,都会自动安装一个node_exporter组件

2.2 服务器数量要求

本文按照 4 个服务器进行下文的部署操作,分为主应用服务器ABC、组件服务器D。

请准备好服务器的内网IP、用户名、密码。

注:FineOps运维平台,和FineDataLink项目,不要部署在同一服务器下。

       如果FineOps和项目处于同一环境下,当项目服务器发生异常时,FineOps可能也出现故障,从而无法起到运维的作用。

类型
要求
推荐配置

建议按照「节点数量+1」准备服务器数量,这些服务器中不再安装其他工程/产品

1)每个工程节点独占一个服务器:

  • 例如本文示例的是3节点集群,则需要3个主应用服务器。

  • 每个服务器中安装一套FineDataLink、ops_agent、node_exporter、filebeat

2)其他组件独占一个服务器:即组件服务器

  • 该服务器中安装外接配置库(mysql)、Kafka组件(kafka)、nacos组件(nacos、mysql)、集群组件(nginx、redis、minio)、es组件(elasticsearch)以及运维组件(expoder组件)

  • 如果服务器资源充足,可以多准备一些组件服务器,在部署时会随机分配集群组件到各个服务器中,确保项目高可用

高可用配置

建议按照「节点数量+7」准备服务器数量,这些服务器中不再安装其他工程/产品

1)每个工程节点独占一个服务器,作为主应用服务器

2)redis、nginx、mysql、minio、es、kafka、nacos组件各自独占一个服务器,作为组件服务器

2.3 服务器网络要求

请确保FineDataLink项目涉及的主应用服务器ABC、组件服务器D,以及FineOps运维平台所在的服务器E:

这些服务器内网互相联通,如不联通则无法成功部署。

注:如自行准备了外接配置库、状态服务器、文件服务器。

      他们所在的服务器F、G、H,也需要和 ABCDE 服务器内网互通。

2.4 服务器系统配置

请确保FineDataLink项目涉及的主应用服务器ABC、组件服务器B,满足此基础配置。

注意,下表的配置要求是针对每个服务器,而不是所有服务器的配置总和。

服务器配置要求
主应用服务器系统版本

CentOS 7.3~7.9 版本

Ubuntu 18.04.4 及以上版本,且不支持 Ubuntu 22 版本

redhat 7.6 及以上版本

系统内核

3.10及以上

最低4核

CPU架构仅支持 X86_64
剩余空闲物理内存8G以上
剩余空闲磁盘容量50GB以上
组件服务器系统版本

CentOS 7.3~7.9 版本

Ubuntu 18.04.4 及以上版本,且不支持 Ubuntu 22 版本

redhat 7.6 及以上版本

系统内核

3.10及以上

最低4核

CPU架构仅支持 X86_64
剩余空闲物理内存8G以上
剩余空闲磁盘容量

50GB以上

如使用管道功能,建议1T以上

注:服务器之所以要满足上表所说的内存和磁盘,是由于FineDataLink项目中的各个组件有最低安装配置要求。

点击展开更多
服务器组件
CPU
内存xmx磁盘

主应用服务器

FineDataLink4Core1.5xmx

默认内存为:

机器内存减掉8G后的内存大小

最大不会超过30G

50G
ops_agent1Core-1G-
node_exporter0.1Core0.1G--
filebeat0.1Core0.1G--
组件服务器elasticsearch1Core-2G50G
elasticsearch_exporter0.1Core0.1G--
nginx1Core---
nginx_exporter0.1Core0.1G0.1G-
nacos2Core2G--
mysql(nacos)2Core2G--
mysql2Core--50G
mysqld_exporter0.1Core0.1G--
redis1Core-4G-
redis_exporter0.1Core0.1G--
minio1Core--100G
ops_agent1Core-1G-
node_exporter0.1Core0.1G--

2.5 服务器端口要求

请确保FineBI项目涉及的主应用服务器ABC、组件服务器D中,待部署应用和组件的默认端口可用。

  • 请确认默认的映射端口是否已被使用,如已被使用,请安排好其他空闲端口。

  • nginx的映射端口将作为项目访问端口,因此请确认准备使用的nginx映射端口是否开放了防火墙、安全组等,确保可连接。

注1:端口占用和防火墙开放操作方法可参考:端口占用检查与防火墙配置 。

注2:端口portMapping为{映射端口:容器内端口} ,其中映射端口可改,容器内端口不支持修改。

注3:如果准备了多个组件服务器,组件会随机分布部署在各个服务器下。因此请确保每一个组件服务器都满足各个组件的端口要求。

服务器
组件默认端口
主应用服务器FineBI

端口:{8080: 8080, 7800: 7800, 7830: 7830, 7840: 7840, 7850: 7850, 7870: 7870}

ops_agent端口:{9070:9070}
node_exporter端口:{9100:9100}
filebeat不占用端口
组件服务器elasticsearch

端口:{9200:9200}

用户名:elastic(不支持修改)

密码:elasticadmin(支持修改

elasticsearch_exporter端口:{9114:9114}
nginx

root用户:{80: 8080}

非root用户:{8090: 8080}

nginx_exporter端口:{9113: 9113}
mysql

端口:{3306:3306}

用户名:root(不支持修改)

密码:随机生成,届时请务必修改

mysqld_exporter端口:{9104:9104}
redis

端口:{6379:6379}

用户名:admin(不支持修改)

密码:随机生成,届时请务必修改

redis_exporter端口:{9121:9121}
minio

服务器端口:{9000:9000}

控制台端口:{9001:9001}

用户名:minioadmin(不支持修改)

密码:minioadmin(支持修改,但密码必须大于等于8位,否则使用默认密码)

ops_agent端口:{9070:9070}
node_exporter端口:{9100:9100}

2.6 设置项目挂载目录

容器化部署的FineBI项目,重要文件均外挂。请提前在主应用服务器ABC和组件服务器D的空闲磁盘下,新建好挂载目录。

1)查看服务器磁盘空间

命令:df -h,找出可用空间较大的挂载点

例如本示例中,服务器最合适的挂载目录为/home目录下