配置开启集群

1.1 版本

1.2 应用场景

• 单个工程已不能满足用户需求，用户需要较高的并发支撑性能。

• 单机不可用时，系统停止将会造成业务中断、数据/模板丢失等问题，用户需要确保系统 7*24h 稳定运行。

1.3 功能简介

本文只是介绍开启集群步骤中的其中一个步骤，主要说明「集群配置」界面中各个设置项，例如：状态服务器、文件一致性模式、缓存模式、通信协议，以及对部分集群参数进行配置等。如下图所示：

开启集群完整步骤请参见：Linux 系统部署集群、Linux系统自动化部署集群、Windows 系统部署集群

状态服务器和文件服务器配置时，IP 尽量使用内网 IP。配置之前请检查各服务器系统时间是否一致，不一致可能会导致集群不可用及同步问题，调整方法请参见：Linux 系统如何配置各个节点的时间一致性？

2.1 开启状态服务器

点击状态服务器右侧的「开启」按钮，可在弹窗中选择「缓存系统」并编辑，如下图所示：

2.1.1 选择 Redis 单机

注：10.0.17 版本，支持华为云 redis 5.0 主备版。配置方式与「Redis单机」相同，只需将主机、端口、密码修改为华为云的即可。

选择「Redis 单机」时，配置信息的值，如下表所示：

2.1.2 选择 Redis 集群

选择「Redis集群」后，可以手动添加或者删除主机，主机、端口、密码填写规则同单机，如下图所示：

注：如果配置 Redis 密码，则要求 Redis 各个节点使用统一的密码。

配置完毕后，点击「测试连接并保存」，若无异常则可保存成功。

2.1.3 选择腾讯云 Redis

选择腾讯云Redis，输入主机、端口、密码，如下图所示：

注：详情请参见：腾讯云 Redis 插件

2.2 设置文件自动同步

文件一致性包含 assets、reportlets、resources、schedule、dashboards、treasures、../backup 这些文件夹，当我们使用节点间自动同步时，这些文件夹会为了保持一致性会自动同步。当我们使用文件服务器时，各个节点将从文件服务器中读取这些文件内容。 

2.2.1 设置节点间自动同步

若不使用文件服务器，则文件一致设置默认为「节点间自动同步」，如下图所示：

注：「节点间自动同步」不适用于多节点，否则会因节点间通信问题影响使用，仅两个节点时使用，大于两个节点时需使用「文件服务器共享」。

2.2.2 设置文件服务器共享

选择「文件服务器共享」时，可以配置连接文件服务器，目前支持FTP、SFTP、HDFS、共享外部目录（NAS\NFS等）作为文件服务器。

注：HDFS 和共享外部目录均为插件的形式，需要安装插件方可配置使用。

• FTP 协议

点击「编辑」，进入设置界面，进行相应的文件服务器配置，点击「测试连接并保存」，如下图所示：

注1：在集群开启条件下，可以切换主被动模式，不会影响系统正常运行，点击测试连接并保存就可以保存配置，不需要重启集群。

注2：按照文档部署的 FTP 服务，Linux 系统填写绝对路径，如用户名为 ftpuser ，那么路径为 /home/ftpuser/WEB-INF，Windows 系统填写相对路径 /WEB-INF 即可。

• SFTP 协议

点击「编辑」，进入设置界面，进行相应的文件服务器配置，点击「测试连接并保存」，如下图所示：

注1：要求使用启动中的 FTP/SFTP 服务器，账号须具备配置路径的读写权限。

注2：如果是 SFTP 密钥登录，无需要用户名密码，不填即可，但要点击密码后面的图标上传密钥文件。

注3：配置 SFTP 路径的时候，路径填写绝对路径，为 WEB-INF 文件夹的路径。

• HDFS 协议

HDFS 作为文件服务器，可以保证模板等资源文件分布式存储，实现高可用。详细查看插件使用文档 HDFS 资源仓库 

不管使用哪种服务作为文件服务器，配置完毕后，点击「测试连接并保存」，若无异常则可保存成功。

2.2.3 其他说明

• 10.0.14 之前的版本，文件服务器模式下，若集群第一个节点启动过程中尝试连接文件服务器失败，则自动切换至节点间同步模式，确保工程可以正常启动，并进行异常通知；10.0.14 及之后的版本，若集群第一个节点启动过程中尝试连接文件服务器失败，则会进入部署向导页面，详情请参见：集群组件出错优化

• 使用文件服务器时，想要手动增删改模板都需要在文件服务器下进行操作， 节点下的 assets、reportlets、resources、schedule、dashboards、treasures、../backup是没有作用的；

• 从文件服务器切换至「节点间同步」时，需要重启集群工程所有节点方可生效，若不重启则不生效。

2.3 设置缓存模式

2.3.1 缓存模式介绍

前端可选择「主动缓存」、「被动缓存」、「关闭缓存」，选择后立即生效，如下图所示：

注：「主动缓存」、「被动缓存」数据是放在内存中的。

缓存开启后可提高系统性能，降低模板和资源文件的读写耗时。

• 开启「主动缓存」时，需要在「管理系统>系统管理>缓存」下，开启「总是重新读取模板」，如下图所示：

• 设置为「关闭缓存」，则「总是重新读取模板」的开关可以不开启。

在使用文件服务器时，若开启了缓存，当文件服务器宕机后，系统仍可继续对外提供服务，此举可大幅提高系统的可用性。目前默认缓存的资源文件包含模板文件、配置文件、地图数据等，暂定 reportlets/ ，resources/， assets/，dashboards 四个文件夹。

注：节点间同步模式下无法关闭缓存，单机时默认关闭缓存，也不建议开启。

2.3.2 缓存逻辑优化

2020-04-26 及之后 JAR 新增缓存逻辑优化：

1）未开启集群时，不显示「缓存模式」功能。

前端：未开启集群时，不显示「缓存模式」，开启集群并重启后显示「缓存模式」，关闭集群并重启后取消「缓存模式」显示。

后端：仅当集群成功开启时，「缓存模式」生效。

2）文件结构未构建完成时不允许切换「缓存模式」和文件一致性设置。

当切换「缓存模式」时，若检测到文件结构尚未构建完成，则前端不允许操作，鼠标悬停时提示：文件结构构建中，暂无法切换

2.4 设置通信协议

TCP 和 UDP 是常用的网络传输协议，默认选用 TCP 协议。

开启集群状态下可以切换集群通信协议，不过重启工程后方可生效。

注1：如果开启集群后只显示本工程的节点，请更换集群连接方式，并重启各节点工程。

注2：阿里云、AWS 等云服务器不允许 UDP 组播方式，集群连接方式请选择 TCP。

3.1 开启/关闭集群

3.1.1 开启集群

状态服务器和外置数据库是开启集群的前置条件，若未配置外置数据库，则参考文档进行配置：配置外接数据库

未配置无法开启的弹窗提示：

配置完毕正常开启的弹窗提示：

3.1.2 关闭集群

当我们成功开启集群并使用时，若想关闭集群，可以直接点击按钮就行关闭，不过关闭状态在重启后方可生效。

3.2 重启工程出现第一个节点

当我们开启集群按钮，并重启工程后，可以看到节点管理界面出现一个节点，并且当我们选用的是「节点间自动同步」时，第一个加入集群的节点会作为文件同步基准节点，若选用的是「文件服务器共享」，则不会出现文件同步基准节点标签。

需要强调的是：

1）选用的是「节点间自动同步」时，如果想手动变更节点下的资源文件（assets、reportlets、resources、schedule、dashboards、treasures、../backup ），则需要在基准节点下进行变更，增删改动作会自动同步至其他非基准节点。对应非基准节点下的资源文件变动操作，不会生效。

2）基准节点一旦选出后，默认不会变动。若想重置基准节点，可参考以下两种方法：

• 方法一：2020-04-26 及之后 JAR

鼠标悬浮在前端非基准节点的左上角，可点击「设为基准节点」进行基准节点的切换。如下图所示：

注1：仅在非节点编辑模式下显示该按钮。切换实时生效，即点击按钮后当前节点显示为「文件同步基准节点」。

注2：如果切换失败会弹出提示框信息：基准节点切换失败，请稍后重试。

• 方法二：

可以关闭集群并重启工程后，再开启集群，基准节点即可重置，重置逻辑还是选择集群开启后第一个加入集群的节点为基准节点。

3.3 增加节点

注：一个工程即一个节点信息。

当第一个节点出现后，就可以将第一个节点%FR_HOME%\webapps\webroot\WEB-INF文件夹拷贝到其他服务器相同文件路径下，然后启动这些服务器，新的节点就会加入节点管理了，如下图所示：

3.4 修改节点信息

使用 Tomcat、Weblogic 容器时，集群开启后可以自动识别容器端口，对于 WAS 集群，暂时不支持自动识别端口，端口默认为58312，需要修改每个节点的端口为实际端口。

鼠标划到节点信息处，右上角出现编辑按钮，点击可编辑修改节点名称、IP 及端口信息，如下图所示：

3.5 节点异常

节点与非协调者通信异常则会标红，节点标红提示如下图所示：

注1：Jgroups 协调者是一般表现为每个集群第一个加入的成员的节点, 额外处理一些普通节点无法处理的事件, 但其不对外暴露。

注2：此功能在 2020-08-03 的版本中支持。

3.6 刷新缓存

使用「文件服务器共享」并且开启缓存时，节点管理界面会出现「刷新缓存」的按钮。若我们开启缓存后，有手动在文件服务器下增删改文件的情况，缓存层是无法感知到的，需要手动刷新缓存。「节点间自动同步」模式下可以自动感知到节点下的文件变动情况，因此无须刷新缓存，因为也不会显示「刷新缓存」的按钮。

「主动缓存」模式下：点击刷新缓存按钮，则更新缓存；

「被动缓存」模式下：点击刷新缓存按钮，则清空缓存；

刷新缓存成功和失败会有弹窗提醒：

3.7 重启集群工程

1）「文件一致设置」中若选择节点间同步，关闭所有工程后，先启动基准节点，再启动其他节点。

2）「文件一致设置」中若未选择节点间同步，关闭所有工程后，依次启动工程即可。

注：关闭和重启部署在不同容器下的 FineReport 工程方法，可参见：关闭FineReport工程

4.1 开启异常提醒

开启异常检测提醒功能，点击「全局设置」按钮设置提醒方式，比如勾选「短信提醒」、「平台消息」、「邮件提醒」，设置完成后点击保存即可，默认全不开启。如下图所示：

4.2 前置条件

1）短信：需要开启短信平台，详细点击 短信

2）邮件提醒：需要配置邮件服务器，详细点击 邮箱

3）平台消息：需要在负载均衡层面配置websocket端口并且开放，相关文档：Websocket端口被占用/无法使用

1）集群各个节点的 JAR 包是不会自动同步的，手动升级时需要分别替换各个节点的 JAR 包。

2）通过平台安装的插件可以自动分发到各个节点，在插件目录 plugins 下手动放置的插件包不会自动同步，需要在各个节点都手动操作放置。

3）集群推荐使用私有云的授权方式，不用关心维护多个节点 license。

4）各个节点存储自己的日志（方便某节点出错快速找到其原因）。

5）若设计器远程设计切换到某个节点之后，当服务器断开连接，远程提示离开集群环境的响应弹窗出现速度比较慢，此问题在后续会进行优化。

6.1 Excel 上传失败

6.1.1 问题描述

Excel 上传失败，关键报错信息如下：

Write failed!
Failed to write file /var/ftp/finebi/WEB-INF/assets/temp_attach/MapCache1578448427935_685
Permission denied

6.1.2 原因分析

Excel 和图片文件存储所在位置的 FTP 用户名与文件夹用户名不一致。

6.1.3 解决方案

将 Excel 和图片文件存储所在位置(WEB-INF\assets\temp_attach)的用户改为文件夹用户，或者将文件夹用户改为 Excel 和图片文件存储所在位置的用户，即两个地方的用户名需要保持一致。文件夹用户在决策平台的「管理系统>智能运维>集群配置>文件一致设置」处修改，如下图所示：

6.2 目录不稳定

6.2.1 问题描述

集群环境下登录报表工程，刷新会导致某些报表消失，再次刷新又恢复。

6.2.2 原因分析

集群需要开放一些 TCP 通信协议端口，如7850。部分插件加载自己的表，需要 hibernate 重新更新二级缓存，导致 DecisionDB 启动两次，需要用到两个端口，7850和7851（最后会一直用7851）。但是如果防火墙未开启7851，会导致集群通信异常，目录显示异常。

6.2.3 解决方案

出现类似情况时，工程启动后可以先使用 netstat -ntpl 命令查看启动端口情况（也可以查看日志搜索关键字“__DB_CACHE:DecisionDB:”，看后面的 “physical address=”值最大的那个），注意下 785X ，然后使用 curl （其他命令也行，能 ping 端口就好） ，看看 785X 此端口是否能 ping 通，以检查是否是端口没开全而产生的。未开通的端口需要全部开通。