历史版本26 :确认FineDataLink项目服务器配置 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

运维平台版本
功能变更
V1.5.5-
V1.5.6部署过程中,不再安装冗余组件promtail
V1.6.01)单机部署时,若选择安装elasticsearch,同步安装filebeat组件

2)部署项目时,工程外挂目录新增help文件夹

V1.9.0部署交互界面优化

1.2 功能简介

运维平台支持部署并直接接入全新FineReport、FineBI、FineDataLink应用。

本文将介绍,如何通过 运维平台 ,容器化部署全新的FineDataLink单机项目。

注:请在容器化部署前,先部署好FineOps运维平台。安装步骤请参见:部署运维平台 。

2. 准备服务器编辑

2.1 确认需要安装的组件

通过运维平台容器化部署的FineDataLink单机项目,不仅仅包括FineDataLink工程,还包括配套的外接配置库、管道Kafka、运维组件等等。

请先确认好需要安装的组件。本文按照安装全部组件来进行示例讲解。

服务器安装的组件

是否安装

说明
主应用服务器FineDataLink

必须安装

作用:FineDataLink的工程节点组件,其中不带任何的demo数据

说明:必须安装

ops_agent

必须安装

作用:为服务器物理节点配套安装,用于管理组件,容器化升级也是由该组件完成

说明:FineDataLink项目涉及的每个服务器都会安装一个ops_agent

node_exporter

必须安装

作用:服务器物理节点的exporter,收集物理服务器的各种指标信息

说明:FineDataLink项目涉及的每个服务器都会安装一个node_exporter

filebeat可选安装

作用:日志采集

说明:与elasticSearch组件配套安装

如不安装elasticsearch组件,则不安装filebeat组件

如安装elasticsearch组件,则同步在FineDataLink工程节点所在服务器安装filebeat组件

组件服务器mysql

可选安装

作用:作为工程的外接配置库

说明:可选安装

如果安装该组件,会安装一个MySQL5数据库,作为工程外接配置库

如不安装该组件,用户必须自行准备好一个外接配置库,否则无法部署

mysqld_exporter

可选安装

作用:MySQL服务的exporter,收集MySQL的各种指标信息

说明:与MySQL组件配套安装

elasticsearch

可选安装

作用:日志存储

说明:可选安装

如果安装该组件,则取代FineDataLink中原有的swift,作为日志存储

如不安装该组件,将启用FineDataLink中原有的swift进行日志存储

elasticsearch_exporter可选安装

作用:elasticSearch的exporter,收集elasticSearch的指标

说明:与elasticSearch组件配套安装

Kafka可选安装

作用:支撑管道任务相关功能

说明:可选安装

如不安装该组件,将无法使用FineDataLink中管道任务相关功能

Kafka_exporter可选安装

作用:Kafka的exporter,收集Kafka的指标

说明:与Kafka组件配套安装

node_exporter必须安装

作用:服务器物理节点的exporter,收集物理服务器的各种指标信息

说明:

如果准备了组件服务器,则自动安装一个node_exporter组件

如果不安装mysql、elasticsearch和Kafka套件,则无需准备组件服务器,则不会安装该组件

2.2 服务器数量要求

本文按照2个服务器进行下文的部署操作,分为主应用服务器A、组件服务器B。

请准备好服务器的内网IP、用户名、密码。

注:FineOps运维平台,和FineDataLink项目,不要部署在同一服务器下。

       如果FineOps和项目处于同一环境下,当项目服务器发生异常时,FineOps可能也出现故障,从而无法起到运维的作用。

类型
要求
推荐配置

建议准备2个服务器,这两个服务器中不再安装其他工程/产品

  • 工程独占一个服务器:即主应用服务器,包括FineDataLink、ops_agent

  • 其他组件独占一个服务器:即组件服务器,如果不安装mysql、elasticsearch和Kafka套件,则无需准备该服务器

最低配置

至少准备1个服务器,这个服务器中不再安装其他工程/产品

  • 整个FineDataLink项目独占一个服务器(只有1个服务器的情况下,所有组件均安装在该服务器中)

2.3 服务器网络要求

请确保FineDataLink项目涉及的主应用服务器A、组件服务器B,以及FineOps运维平台所在的服务器C:

这些服务器内网互相联通,如不联通则无法成功部署。

注:如自行准备了外接配置库和Kafka,两者所在的服务器DE,也需要和ABC服务器内网互通。

2.4 服务器系统配置

请确保FineDataLink项目涉及的主应用服务器A、组件服务器B,满足此基础配置。

服务器配置要求
主应用服务器系统版本

CentOS 7.3~7.9 版本

Ubuntu 18.04.4 及以上版本

redhat 7.6 及以上版本

系统内核

3.10及以上

最低4核

CPU架构仅支持 X86_64
剩余空闲物理内存8G以上
剩余空闲磁盘容量

50GB以上

如使用管道功能,建议1T以上

组件服务器系统版本

CentOS 7.3~7.9 版本

Ubuntu 18.04.4 及以上版本

redhat 7.6 及以上版本

系统内核

3.10及以上

最低4核

CPU架构仅支持 X86_64
剩余空闲物理内存8G以上
剩余空闲磁盘容量

50GB以上

如使用管道功能,建议1T以上

注:服务器之所以要满足上表所说的内存和磁盘,是由于FineDataLink项目中的各个组件有最低安装配置要求。

点击展开更多
服务器
组件CPU内存xmx磁盘
主应用服务器FineDataLink4Core-

默认内存为:

机器内存减掉8G后的内存大小

最大不会超过32G

50G
ops_agent1Core-1G-
node_exporter0.1Core0.1G--
filebeat0.1Core0.1G--
组件服务器mysql2Core---
mysqld_exporter0.1Core0.1G--
elasticsearch1Core-2G50G
elasticsearch_exporter0.1Core0.1G--
Kafka4Core-2G-
Kafka_exporter0.1Core0.1G--
ops_agent1Core-1G-
node_exporter0.1Core0.1G--

2.5 服务器端口要求

请确保FineDataLink项目涉及的主应用服务器A、组件服务器B中,待部署应用和组件的默认端口可用。

  • 请确认默认的映射端口是否已被使用,如已被使用,请安排好其他空闲端口。

  • FineDataLink的映射端口将作为项目访问端口,因此请确认准备使用的FineDataLink映射端口是否开放了防火墙、安全组等,确保可连接。

注1:端口占用和防火墙开放操作方法可参考:端口占用检查与防火墙配置 。

注2:端口portMapping为{映射端口:容器内端口} ,其中映射端口可改,容器内端口不支持修改。

服务器
组件默认端口
主应用服务器FineDataLink

端口:{8068:8068,12100:12100,15500:15500}

ops_agent端口:{9070:9070}
node_exporter端口:{9100:9100}
filebeat不占用端口
组件服务器
mysql

端口:{3306:3306}

用户名:root(不支持修改)

密码:随机生成,届时请务必修改

mysqld_exporter端口:{9104:9104}
elasticsearch

端口:{9200:9200}

用户名:elastic(不支持修改)

密码:elasticadmin(支持修改

elasticsearch_exporter端口:{9114:9114}
Kafka

端口:{9092:9092}

默认无认证

用户可调整为密码认证,自定义用户名密码

Kafka_exporter端口:{9308:9308}
ops_agent端口:{9070:9070}
node_exporter端口:{9100:9100}

2.6 设置项目挂载目录

容器化部署的FineDataLink项目,重要文件均外挂。请提前在主应用服务器A和组件服务器B的空闲磁盘下,新建好挂载目录。

1)查看服务器磁盘空间

命令:df -h,找出可用空间较大的挂载点

例如本示例中,服务器最合适的挂载目录为/home目录下

2)新建文件夹

  • 使用 mkdir 命令创建文件夹(本示例在/home目录下创建一个名叫fanruan的文件夹):mkdir /home/fanruan

  • 使用 chmod 命令设置文件夹的权限(本示例直接赋777权限):chmod 777 /home/fanruan

注:FineDataLink单机项目部署成功后,项目挂载目录中的fdl文件夹,存放着工程外挂内容,其中的文件夹和存放内容如下表所示。

点击展开更多
外挂文件夹说明
assets

通用的共享持久化目录

backup工程历史备份文件
config平台调用的配置库(finedb)相关文件
customlib工程定制/外部引入的JAR包
dpworksFineDataLink任务相关的配置文件
help工程需要调用的一些css、js、html、图片等资源
logsswift日志(即logdb)
mount存放setenv.sh文件,用于设置工程的环境变量和启动参数
plugins插件相关文件
resources存放工程相关的资源配置文件
schedule定时调度生成的文件
tomcat_logsTomcat通用日志
treasures云端运维生成的数据包

3. 确认镜像仓库编辑

部署新项目中的各个组件,是需要通过镜像进行部署的。要么镜像仓库已有镜像,要么支持从云端拉取镜像。

运维平台默认不提供FineDataLink、Kafka的镜像包。

付费用户请联系帆软技术支持,获取包含FineDataLink、Kafka相关镜像包的finekey工具,并参考文档更新运维平台:内网升级运维平台

技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。

4. 部署新FineDataLink单机项目编辑

本节正式进入部署FineDataLink单机项目的操作环节。请在开始部署前务必确认上文的所有内容,否则可能会部署失败!

4.1 新增项目

管理员登录 FineOps 运维平台,点击「运维管理>项目管理」,点击「部署新项目」,如下图所示:

4.2 项目设置

项目设置是配置项目的类型、需要安装的组件、占用的端口等信息。

进入「项目设置」界面,输入相关项目信息,点击「下一步」,如下图所示:

各配置项如下表所示:

信息
说明
项目名称

自定义项目的名称

项目名称不允许为空

项目名称仅支持小写字母、数字

项目名称长度最大为12位

项目名称不允许与已有项目重名

应用类型选择「FineDataLink」
应用类型

选择「单机」

默认部署组件

即必须安装的组件,包括

FineDataLink、node_exporter、ops_agent

自定义部署组件

即可选安装的组件,包括:

1)外接数据库

mysql、mysqld_exporter

如不安装该组件,用户必须自行填写外接数据库信息,否则无法部署

2)ElasticSearch:

elasticsearch、elasticsearch_exporter、filebeat

如不安装该组件,将启用FineDataLink中原有的swift,用作日志存储

3)Kafka:

Kafka、Kafka_exporter

如不安装该组件,将无法使用FineDataLink中管道任务相关功能

部署配置

支持两种:

1)使用默认配置

2)自定义端口、组件用户名密码,即对2.5节的默认端口、密码进行调整

请务必修改并记住MySQL、elasticsearch组件的密码,该密码默认随机生成。

访问路径

说明:

应用的访问链接为{域名/IP}/{访问路径}/decision

支持用户自定义应用的访问路径,访问路径默认为webroot

举例:

一般应用访问链接为http://IP:端口/webroot/decision

修改访问路径为demo

则部署好的应用访问链接为http://IP:端口/demo/decision

4.3 节点配置-新增主应用节点

配置完需要的组件和端口后,即可进入「节点配置」。

首先需要新增主应用节点,即为添加主应用服务器A的相关信息。

1)点击「新增节点」,选择节点类型为「主应用」,填写相关设置项,点击「完成」。

具体节点设置如下图所示:

节点设置
说明
节点类型

请选择「主应用」

主应用节点要求最低配置4核8G、磁盘剩余50GB以上

注1:如未准备组件服务器,那么所有组件都将部署在该主应用节点下。

注2:如未准备组件服务器,且需要启用管道功能,安装Kafka组件,则主应用服务器可用磁盘空间建议1T以上

注3:帆软项目需要独占服务器,即该主应用服务器上不建议部署其他工程或内容,包括运维平台

主机

请输入节点主机IP(内网IP)

注:同一项目中,主机不支持重复添加多次

端口请输入节点端口号,默认为22
用户名

请输入有sudo权限的服务器用户名

验证方法

支持两种:密码、公钥

挂载路径

请输入节点安装目录的服务器路径,即2.6节设置的目录

默认为~/data,~代表所使用的服务器用户的主目录

注:可在终端使用该用户账号访问服务器,输入echo $HOME命令查看该用户的主目录路径

2)效果预览

若主机用户名等信息校验成功,即可添加一个主应用节点。如下图所示:

注1:若网络环境不满足2.3节要求,节点连接失败,则出现报错提醒,无法正确新增节点。

注2:若服务器配置不符合2.4节最低要求,则出现报错提醒,无法正确新增节点。

4.4 节点配置-新增组件节点

接着要新增组件节点,即为添加组件服务器B的相关信息。如未准备组件服务器,无需执行本章操作,所有组件都将部署在上一节主应用节点下。

1)点击「新增节点」,选择节点类型为「组件」,填写相关设置项,点击「完成」。

具体节点设置如下图所示:

节点设置
说明
节点类型

请选择「组件」

组件节点要求最低配置4核8G、磁盘剩余50GB以上

注1:如配置了多个组件节点,则组件随机部署在各个节点

注2:如需要启用管道功能,安装Kafka组件,则组件服务器可用磁盘空间建议1T以上

注3:帆软项目需要独占服务器,即该组件服务器上不建议部署其他工程或内容,包括运维平台

主机

请输入节点主机IP(内网IP)

注:同一项目中,主机不支持重复添加多次

端口请输入节点端口号,默认为22
用户名

请输入有sudo权限的服务器用户名

验证方法

支持两种:密码、公钥

挂载路径

请输入节点安装目录的服务器路径,即2.6节设置的目录

默认为~/data,~代表所使用的服务器用户的主目录

注:可在终端使用该用户账号访问服务器,输入echo $HOME命令查看该用户的主目录路径

2)效果预览

若主机用户名等信息校验成功,即可添加一个组件节点。如下图所示:

注1:若网络环境不满足2.3节要求,节点连接失败,则出现报错提醒,无法正确新增节点。

注2:若服务器配置不符合2.4节最低要求,则出现报错提醒,无法正确新增节点。

4.5 开始部署

节点配置完成后,点击「开始部署」,进入部署过程。

弹窗中会显示各个组件的部署情况,若部署失败则显示失败原因。

通过运维平台成功部署的新项目,自动接入运维平台的项目管理列表中,可进行相关运维操作。如下表所示:

其中的访问地址,即为该FineDataLink单机工程的访问地址,在浏览器新窗口访问该地址,即可进入工程初始化配置界面。