历史版本14 :Linux系统手动配置标准抽取集群 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineBI服务器版本
功能变更
6.0-

1.2 应用场景

本文将为您推荐部署FineBI6.0「抽取集群」所需的服务器环境。

如您计划部署FineBI6.0「抽取集群」,请先联系帆软技术支持(技术支持联系方式:QQ「800049425」、电话「400-811-8890」)或您对接的帆软销售代表,进行初步评估、以及环境信息等的确认。

注:如您未联系过帆软,自行进行集群的部署,无法保证遇到未知风险后能够及时处理。

2. 系统要求编辑

已知负载均衡 Nginx 在 Windows Server 上不能支撑较高并发,所以对于使用 Nginx 作为负载均衡的方案,若并发需求低于 300,则在 Linux 系统和 Windows Server 上均能正常部署使用集群,若并发需求超过 300,则不建议在 Windows Server 上部署集群,否则会出现并发问题。

操作系统类别已验证版本号
LinuxCentos6Centos 6.5、Centos 6.6、Centos 6.7、Centos 6.8、Centos 6.9
Centos7Centos 7.0、Centos 7.1、Centos 7.2、Centos 7.3、Centos 7.4
RedHat6RedHat 6.5、RedHat 6.6、RedHat 6.7、RedHat 6.8、RedHat 6.9
RadHat7RedHat 7.0、RedHat 7.1、RedHat 7.2、RedHat 7.3、RedHat 7.4
Ubuntu10Ubuntu 10.04.4
Amazon LinuxAmazon Linux AMI release 2018.03
WindowsWindows ServerWindows Server 2008、Windows Server 2012

1)JDK 版本要求:JDK 1.8 且小版本需在 JDK8u102 以上。

2)一套集群不支持一台服务器部署多个集群的节点工程。

3)需确认工程彼此之间以及各自到外接数据库之间的通讯正常:

  • Linux 系统用户:可使用 集群环境检测工具 对系统环境进行自动检测,或者使用 ping 语句检测。

  • Windows 系统用户:使用 ping 或者 telenet 语句进行检测。

3. ROOT权限编辑

Linux 系统安装 FTP 时需要使用最高用户(root),否则不能进行,若不安装 FTP 则可不考虑这一要求。

4. GCC编译器编辑

Redis 和 Nginx 在 Linux 系统上的部署均依赖 GCC 编译器,所以须注意,若选用 Linux 服务器,请保证系统具备 GCC 编译环境。

查询命令:gcc -v,若没有 GCC 环境则需要自行安装,联网安装命令:yum install gcc gcc-c++

5. 网络要求编辑

公网环境和内网环境均可部署集群,要求集群节点间具有良好的通信环境,推荐万兆网卡,最低千兆,同机房部署。

6. 机器要求编辑

目前使用较多的是三节点集群基础方案(Nginx+Tomcat+Redis+FTP),我们以此为例,说明对服务器的要求。

6.1 服务器类型

注:若有条件,建议 Nginx、Redis、FTP分别部署在不同的服务器上。

应用服务器1Web 容器(Tomcat、WebLogic、WAS)
应用服务器2Web 容器(Tomcat、WebLogic、WAS)
应用服务器3Web 容器(Tomcat、WebLogic、WAS)
组件服务器
负载均衡(Nginx)
状态服务器(Redis)
文件服务器(FTP)

6.2 CPU配置

服务器 CPU 没有特殊要求,请参考 FineBI安装与启动 、FineBI服务器配置推荐 中抽取数据的部分。

6.3 内存配置

服务器
系统内存分配给 Web 容器 JVM 内存
应用服务器
至少 32G 及以上至少 16G 及以上
组件服务器建议 8G 以上/

6.4 磁盘配置及空间

磁盘推荐SSD;HDD最低要求4k随机读写至少15MB/s,顺序读写至少100MB/s。

部署抽取集群工程,推荐的剩余磁盘空间根据 BI 最大单表数据量有所不同。请参考 FineBI安装与启动 、FineBI服务器配置推荐 中抽取数据的部分。此外,如果模板资源文件超大,根据实际情况选择较大磁盘空间的服务器。

机器
作用硬件配置说明
应用服务器1部署工程/(根目录)至少40G可用空间,建议剩余磁盘空间是抽取数据所在文件夹的大小的两倍(参考数据存放路径系统使用中的临时缓存地址
应用服务器2/usr部署工程,至少保证有 15G 空余可用空间默认日志存放路径
组件服务器3
部署集群组件/(根目录)保证至少有 40G 空余可用空间系统使用中的临时缓存地址
/usr保证至少有 15G 空余可用空间安装集群的各个组件,存放日志文件
/home保证至少有 10G 空余可用空间文件服务器存储目录,存放模板等资源文件

7. 端口准备编辑

分类
内容端口备注
负载均衡Nginx80或443外部端口,必须对外开放,可修改(nginx.conf),是集群系统入口端口,其他负载均衡的端口请自行配置
Web容器Tomcat8080外部端口,可不对外开放,可修改(server.xml),SSL、短地址等在负载均衡层面配置
WebLoigc7001
WebSphere9080
消息通知Websocket 端口["48888", "49888"]详情请参见:集群配置WebSocket端口
Websocket 转发端口48889
文件服务器FTP20、21内部端口,可修改(自行操作)
SFTP22内部端口,不可修改
HDFS9000内部端口,可修改(自行操作)
状态服务器redis 单机6379内部端口,可修改(redis.conf)
redis 集群/内部端口,根据配置情况自行修改(redis.conf)
集群节点通信集群节点内部通信7800、7830、7840、7850、7870只需要节点互相之间开放即可
集群TCP通信50051内部端口,可修改(spider.cluster.properties)
集群数据同步集群数据同步50200内部端口,可修改(spider.cluster.properties)

说明:

1)Web容器、文件服务器、状态服务器包含多种,请根据选择的情况自行开放端口。

2)如果默认端口与其他工程有冲突,需要先修改端口,再开放对应的端口。

3)开启 21 端口和任何大于 1024 的端口,再通过 passive 开启 ftp 被动模式。

4)对于 docker 容器,或者服务器之间端口严格限制的环境,需要额外对节点的服务器之间开放端口,用于节点间通信。

  • 选择 TCP 协议是 7800/7810/7820/7830/7840/7850/7860/7870/50051/50200 个端口

  • 选择 UDP 协议是 45588~65536 随机端口