1. 概述编辑
1.1 版本
运维平台版本 | 功能变更 |
---|---|
V1.5.5 | - |
V1.5.6 | 部署过程中,不再安装冗余组件promtail |
V1.6.0 | 1)单机部署时,若选择安装elasticsearch,同步安装filebeat组件 2)部署项目时,工程外挂目录新增help文件夹 |
V1.9.0 | 部署交互界面优化 |
V1.10.0 | 部署进度界面优化,细分展示镜像拉取和组件部署进度 |
V1.11.0 | 1)项目名称限制放宽,新增支持英文大写、中文 2)项目配置中,访问路径支持为空 |
V1.14.0 | 部署的配置库组件,由MySQL5调整为MySQL8 |
V1.15.0 | 1)节点配置时,支持填写外网IP,以适配不支持内网访问、仅可外网映射的服务器 2)支持在部署过程中「中止部署」,自动停止本次部署并回退已有操作 |
1.2 功能简介
运维平台支持部署并直接接入全新FineReport、FineBI、FineDataLink应用。
本文将介绍,如何通过 运维平台 ,容器化部署全新的FineDataLink单机项目。
注:本文面向服务器资源不足或端口限制较高的用户,操作步骤较为详细,篇幅较长。
如能准备充足资源的全新服务器,可参考快速指南进行部署:部署新帆软项目
1.3 使用前提
请在部署前,先部署好FineOps运维平台。安装步骤请参见:部署运维平台 。
注:运维平台默认不提供FineDataLink、Kafka的镜像包。因此请勿直接下载官网版本安装包。
付费用户请在服务群内沟通相应客户成功,获取包含FineDataLink、Kafka相关镜像包的finekey工具。
也可自助填写 表单 ,对应人员会稍后联系你提供。紧急情况可电话联系获取,电话:400-811-8890转1
2. 准备服务器编辑
2.1 确认需要安装的组件
通过运维平台容器化部署的FineDataLink单机项目,不仅仅包括FineDataLink工程,还包括配套的外接配置库、管道Kafka、运维组件等等。
请先确认好需要安装的组件。本文按照安装全部组件来进行示例讲解。
服务器 | 安装的组件 | 是否安装 | 说明 |
---|---|---|---|
主应用服务器 | FineDataLink | 必须安装 | 作用:FineDataLink的工程节点组件,其中不带任何的demo数据 说明:必须安装 |
ops_agent | 必须安装 | 作用:为服务器物理节点配套安装,用于管理组件,容器化升级也是由该组件完成 说明:FineDataLink项目涉及的每个服务器都会安装一个ops_agent | |
node_exporter | 必须安装 | 作用:服务器物理节点的exporter,收集物理服务器的各种指标信息 说明:FineDataLink项目涉及的每个服务器都会安装一个node_exporter | |
组件服务器 | mysql | 可选安装 | 作用:作为工程的外接配置库 说明:可选安装 如果安装该组件,会安装一个MySQL8数据库,作为工程外接配置库 如不安装该组件,用户必须自行准备好一个外接配置库,否则无法部署 支持的数据库类型包括:MySQL5、MySQL8、Oracle(V1.14.0及之前版本不支持MySQL8) 如需使用其他类型外接库,可在项目部署成功后,登录工程切换 |
mysqld_exporter | 可选安装 | 作用:MySQL服务的exporter,收集MySQL的各种指标信息 说明:与MySQL组件配套安装 | |
Kafka | 可选安装 | 作用:支撑管道任务相关功能 说明:可选安装 如不安装该组件,将无法使用FineDataLink中管道任务相关功能 | |
Kafka_exporter | 可选安装 | 作用:Kafka的exporter,收集Kafka的指标 说明:与Kafka组件配套安装 | |
node_exporter | 必须安装 | 作用:服务器物理节点的exporter,收集物理服务器的各种指标信息 说明: 如果准备了组件服务器,则自动安装一个node_exporter组件 如果不安装mysql、elasticsearch和Kafka套件,则无需准备组件服务器,则不会安装该组件 |
2.2 服务器数量要求
本文按照2个服务器进行下文的部署操作,分为主应用服务器A、组件服务器B。
请准备好服务器的内网IP、用户名、密码。
注:FineOps运维平台,和FineDataLink项目,不要部署在同一服务器下。
如果FineOps和项目处于同一环境下,当项目服务器发生异常时,FineOps可能也出现故障,从而无法起到运维的作用。
类型 | 要求 |
---|---|
推荐配置 | 建议准备2个服务器,这两个服务器中不再安装其他工程/产品
|
最低配置 | 至少准备1个服务器,这个服务器中不再安装其他工程/产品
|
2.3 服务器网络要求
请确保FineDataLink项目涉及的主应用服务器A、组件服务器B,以及FineOps运维平台所在的服务器C:
这些服务器内网互相联通,如不联通则无法成功部署。
注:如自行准备了外接配置库和Kafka,两者所在的服务器DE,也需要和ABC服务器内网互通。
2.4 服务器系统配置
请确保FineDataLink项目涉及的主应用服务器A、组件服务器B,满足此基础配置。
服务器 | 配置 | 要求 |
---|---|---|
主应用服务器 | 系统版本 | CentOS 7.3~7.9 版本 Ubuntu 18.04.4 及以上版本 redhat 7.6 及以上版本 |
系统内核 | 3.10及以上 最低4核 | |
CPU架构 | 仅支持 X86_64 | |
剩余空闲物理内存 | 8G以上 | |
剩余空闲磁盘容量 | 50GB以上 如使用管道功能,建议1T以上 | |
组件服务器 | 系统版本 | CentOS 7.3~7.9 版本 Ubuntu 18.04.4 及以上版本 redhat 7.6 及以上版本 |
系统内核 | 3.10及以上 最低4核 | |
CPU架构 | 仅支持 X86_64 | |
剩余空闲物理内存 | 8G以上 | |
剩余空闲磁盘容量 | 50GB以上 如使用管道功能,建议1T以上 |
注:服务器之所以要满足上表所说的内存和磁盘,是由于FineDataLink项目中的各个组件有最低安装配置要求。
点击展开更多 | |||||||||||||||||||||||||||||||||||||||||||||||||||||
|
2.5 服务器端口要求
请确保FineDataLink项目涉及的主应用服务器A、组件服务器B中,待部署应用和组件的默认端口可用。
请确认默认的映射端口是否已被使用,如已被使用,请安排好其他空闲端口。
FineDataLink的映射端口将作为项目访问端口,因此请确认准备使用的FineDataLink映射端口是否开放了防火墙、安全组等,确保可连接。
注1:端口占用和防火墙开放操作方法可参考:端口占用检查与防火墙配置 。
注2:端口portMapping为{映射端口:容器内端口} ,其中映射端口可改,容器内端口不支持修改。
服务器 | 组件 | 默认端口 |
---|---|---|
主应用服务器 | FineDataLink | 端口:{8068:8068,12100:12100,15500:15500} |
ops_agent | 端口:{9070:9070} | |
node_exporter | 端口:{9100:9100} | |
组件服务器 | mysql | 端口:{3306:3306} 用户名:root(不支持修改) 密码:随机生成,届时请务必修改 |
mysqld_exporter | 端口:{9104:9104} | |
Kafka | 端口:{9092:9092} 默认无认证 用户可调整为密码认证,自定义用户名密码 | |
Kafka_exporter | 端口:{9308:9308} | |
ops_agent | 端口:{9070:9070} | |
node_exporter | 端口:{9100:9100} |
2.6 设置项目挂载目录
容器化部署的FineDataLink项目,重要文件均外挂。请提前在主应用服务器A和组件服务器B的空闲磁盘下,新建好挂载目录。
1)查看服务器磁盘空间
命令:df -h,找出可用空间较大的挂载点
例如本示例中,服务器最合适的挂载目录为/home目录下
2)新建文件夹
使用 mkdir 命令创建文件夹(本示例在/home目录下创建一个名叫fanruan的文件夹):mkdir /home/fanruan
使用 chmod 命令设置文件夹的权限(本示例直接赋777权限):chmod 777 /home/fanruan
注:FineDataLink单机项目部署成功后,项目挂载目录中的fdl文件夹,存放着工程外挂内容,其中的文件夹和存放内容如下表所示。
点击展开更多 | ||||||||||||||||||||||||||||
|
3. 确认镜像仓库编辑
部署新项目中的各个组件,是需要通过镜像进行部署的。要么镜像仓库已有镜像,要么支持从云端拉取镜像。
如未参考1.3节联系技术支持获取FineKey工具
运维平台默认不提供FineDataLink、Kafka的镜像包。
付费用户请联系帆软技术支持,获取包含FineDataLink、Kafka相关镜像包的finekey工具,并参考文档更新运维平台:内网升级运维平台。
技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」。
如参考1.3节联系技术支持获取FineKey工具
管理员登录运维平台,点击「运维管理>镜像管理」,查看是否存在相关镜像即可。
4. 部署新FineDataLink单机项目编辑
本节正式进入部署FineDataLink单机项目的操作环节。请在开始部署前务必确认上文的所有内容,否则可能会部署失败!
4.1 新增项目
管理员登录 FineOps 运维平台,点击「运维管理>项目管理」,点击「部署新项目」,如下图所示:
4.2 项目设置
项目设置是配置项目的类型、需要安装的组件、占用的端口等信息。
进入「项目设置」界面,输入相关项目信息,点击「下一步」,如下图所示:
各配置项如下表所示:
信息 | 说明 |
---|---|
项目名称 | 自定义项目的名称 项目名称不允许为空 项目名称仅支持中文、英文大小写、数字 项目名称长度最大为12位 项目名称不允许与已有项目重名 |
应用类型 | 选择「FineDataLink」 |
应用类型 | 选择「单机」 |
默认部署组件 | 即必须安装的组件,包括: FineDataLink、node_exporter、ops_agent |
自定义部署组件 | 即可选安装的组件,包括: 1)外接数据库 mysql、mysqld_exporter 如不安装该组件,用户必须自行准备好一个外接配置库,否则无法部署 支持的数据库类型包括:MySQL5、MySQL8、Oracle(V1.14.0及之前版本不支持MySQL8) 如需使用其他类型外接库,可在项目部署成功后,登录工程切换 2)ElasticSearch 请勿勾选,FineDataLink暂未适配该组件 3)Kafka: Kafka、Kafka_exporter 如不安装该组件,将无法使用FineDataLink中管道任务相关功能 |
部署配置 | 支持两种: 1)使用默认配置 2)自定义端口、组件用户名密码,即对2.5节的默认端口、密码进行调整 请务必修改并记住MySQL组件的密码,该密码默认随机生成。 |
访问路径 | 说明: 应用的访问链接为{域名/IP}/{访问路径}/decision 支持用户自定义应用的访问路径,访问路径默认为webroot 举例: 一般应用访问链接为http://IP:端口/webroot/decision 修改访问路径为demo 则部署好的应用访问链接为http://IP:端口/demo/decision 注意事项: 1.11.0及之后版本,访问路径支持为空,即最终应用访问链接为http://IP:端口/decision 但此时工程对应的root目录访问路径为:http://IP:端口/root |
4.3 节点配置-新增主应用节点
配置完需要的组件和端口后,即可进入「节点配置」。
首先需要新增主应用节点,即为添加主应用服务器A的相关信息。
1)点击「新增节点」,选择节点类型为「主应用」,填写相关设置项,点击「测试连接」。
具体节点设置如下图所示:
节点设置 | 说明 |
---|---|
节点类型 | 请选择「主应用」 主应用节点要求最低配置4核8G、磁盘剩余50GB以上 注1:如未准备组件服务器,那么所有组件都将部署在该主应用节点下。 注2:如未准备组件服务器,且需要启用管道功能,安装Kafka组件,则主应用服务器可用磁盘空间建议1T以上 注3:帆软项目需要独占服务器,即该主应用服务器上不建议部署其他工程或内容,包括运维平台 |
主机 | 请输入节点主机IP(内网IP) 注:同一项目中,主机不支持重复添加多次 |
端口 | 请输入节点端口号,默认为22 |
用户名 | 请输入有sudo权限的服务器用户名 |
验证方法 | 支持两种:密码、公钥 |
挂载路径 | 请输入节点安装目录的服务器路径,即2.6节设置的目录 默认为~/data,~代表所使用的服务器用户的主目录 注:可在终端使用该用户账号访问服务器,输入echo $HOME命令查看该用户的主目录路径 |
外网IP | 选填项 如果服务器不支持内网访问,仅支持外网映射,可以填写可联通的外网IP |
2)效果预览
若主机用户名等信息校验成功,即可添加一个主应用节点。如下图所示:
注1:若网络环境不满足2.3节要求,节点连接失败,则出现报错提醒,无法正确新增节点。
注2:若服务器配置不符合2.4节最低要求,则出现报错提醒,无法正确新增节点。
4.4 节点配置-新增组件节点
接着要新增组件节点,即为添加组件服务器B的相关信息。如未准备组件服务器,无需执行本章操作,所有组件都将部署在上一节主应用节点下。
1)点击「新增节点」,选择节点类型为「组件」,填写相关设置项,点击「测试连接」。
具体节点设置如下图所示:
节点设置 | 说明 |
---|---|
节点类型 | 请选择「组件」 组件节点要求最低配置4核8G、磁盘剩余50GB以上 注1:如配置了多个组件节点,则组件随机部署在各个节点 注2:如需要启用管道功能,安装Kafka组件,则组件服务器可用磁盘空间建议1T以上 注3:帆软项目需要独占服务器,即该组件服务器上不建议部署其他工程或内容,包括运维平台 |
主机 | 请输入节点主机IP(内网IP) 注:同一项目中,主机不支持重复添加多次 |
端口 | 请输入节点端口号,默认为22 |
用户名 | 请输入有sudo权限的服务器用户名 |
验证方法 | 支持两种:密码、公钥 |
挂载路径 | 请输入节点安装目录的服务器路径,即2.6节设置的目录 默认为~/data,~代表所使用的服务器用户的主目录 注:可在终端使用该用户账号访问服务器,输入echo $HOME命令查看该用户的主目录路径 |
2)效果预览
若主机用户名等信息校验成功,即可添加一个组件节点。如下图所示:
注1:若网络环境不满足2.3节要求,节点连接失败,则出现报错提醒,无法正确新增节点。
注2:若服务器配置不符合2.4节最低要求,则出现报错提醒,无法正确新增节点。
4.5 开始部署
节点配置完成后,点击「开始部署」,进入部署过程。
弹窗中会显示各个组件的部署情况,若部署失败则显示失败原因。
注1:部署过程中,用户可点击「隐藏至后台进行」,正常进行运维平台其他操作。
注2:V1.15.0及之后版本,支持在部署过程中点击「中止部署」按钮,停止部署并回退所有已有部署操作。
通过运维平台成功部署的新项目,自动接入运维平台的项目管理列表中,可进行相关运维操作。如下表所示:
其中的访问地址,即为该FineDataLink单机工程的访问地址,在浏览器新窗口访问该地址,即可进入工程初始化配置界面。