反馈已提交

网络繁忙

您正在浏览的是 FineBI6.1 帮助文档,点击跳转至: FineBI5.1帮助文档

Linux系统手动配置标准抽取集群

  • 文档创建者:Leo.Tsai
  • 历史版本:27
  • 最近更新:Carly 于 2023-11-02
  • 1. 概述

    本文介绍如何在 Linux 系统中手动配置标准抽取集群。

    如您计划部署FineBI6.0抽取集群,请先联系帆软技术支持或帆软销售代表,进行初步评估、以及环境信息等的确认。

    技术支持联系方式:「服务平台>在线支持」、电话「400-811-8890」

    如您未联系过帆软,自行进行抽取集群的部署,无法保证遇到未知风险后能够及时处理。

    2. 准备步骤

    手动配置标准集群之前,请先提前准备好以下内容。


    操作步骤
    说明
    1准备服务器环境

    准备工程节点+负载均衡+状态服务器+文件服务器+配置库部署环境

    请确保各工程节点和组件所在服务器间内网互通

    请确保各工程节点和组件所在服务器系统时间一致

    推荐环境:工程部署推荐环境

    支持环境:集群工程部署支持环境

    2部署数据库

    部署数据库,作为工程的外接数据库备用,推荐部署MySQL5数据库

    用户只需要部署并启动该数据库。

    支持的数据库类型请参考:配置外接数据库

    3部署负载均衡

    部署负载均衡,推荐Nginx部署方案

    只需要安装Nginx,无需启动,无需修改nginx.conf配置文件

    参考文档:Linux 系统安装配置 Nginx

    4部署状态服务器

    部署状态服务器,推荐部署Redis单机

    请确保Redis单机启动

    参考文档:Linux系统安装配置单机Redis

    5部署文件服务器

    部署文件服务器,推荐部署SFTP

    请确保SFTP启动

    参考文档:Linux系统配置使用SFTP

    6部署工程节点先只部署并启动一个工程节点

    部署方法请参考单机部署的「部署包部署」或「独立部署」

    3. 配置并启动工程

    3.1 配置Linux系统参数

    需要为Linux修改三个系统参数,以确保后续抽取集群正常运行。

    参数名
    简介修改方法
    vm.max_map_count

    vm.max_map_count是一个Linux系统内核参数,用于控制在一个进程中允许mmap映射内存区域的最大数量。

    如果该参数的值太小,那么在使用一些应用程序时,可能会出现内存映射错误。

    建议配置 vm.max_map_count 参数为 262144

    • /etc/sysctl.conf文件中添加/修改参数值

    vm.max_map_count=262144

    • 运行以下命令使更改生效

    sysctl -p

    最大文件打开数

    open_files是指一个进程可以同时打开的文件描述符的最大数量。

    文件描述符是Unix系统中用于访问文件(包括管道、套接字和其他文件操作)的唯一标识符。

    建议FineBI工程的open_files参数配置不低于131070

    • 修改参数配置

    打开Linux的软硬件限制文件/etc/security/limits.conf,在文件尾部添加如下代码: 

    * soft nofile 131070

    * hard nofile 131070

    上述命令中,hard表示系统的硬限制,soft表示用户的软限制。

    • 重启工程并重新登录

    配置完成后,终端用户重新登录,并重启Tomcat工程,配置方可生效。

    可使用ulimit -n命令,根据返回值确认是否修改成功。

    glibc解决宕机隐患问题

    1)判断glibc版本

     运行命令 ldd --version

    2)若glibc版本不是2.12

    在 startup.sh 文件第一行增加一行内容:

    export MALLOC_ARENA_MAX=1

    3)重启tomcat

    3.2 配置Redis日志

    对于FineBI6.0抽取集群,状态服务器Redis是比较关键的组件,需要配置下日志,便于日后排查问题。

    在redis.conf文件中,日志默认配置为:logfile ""

    新增/修改为:logfile "redis.log"

    配置后日志会自动生成在src目录下。

    3.3 新建spider.cluster.properties(可选)

    如需调整端口等配置,可执行本节操作。如无需调整,可跳过。

    %BI_HOME%\webapps\webroot\WEB-INF\config目录下,新建spider.cluster.properties文件。

    文件中包含三行内容:

    设置内容说明
    spider_grpc_port=xxx

    设置spider引擎rpc端口,如不配置,默认端口为50051

    确保配置一个空闲可用的端口即可

    bi_conf_rpc_port=xxx

    设置新配置框架的rmi,如不配置,默认端口为50200

    确保配置一个空闲可用的端口即可

    is_sync_node=true

    设置工程节点属性,如不配置,默认为同步节点

    false:非同步节点

    true:同步节点

    3.4 启动并登录平台

    启动该FineBI工程节点。

    1)确保配置外接数据库

    管理员登录FineBI系统,点击「管理系统>系统管理>常规>外接数据库」,确保系统已配置外接数据库。

    2)进入集群配置界面

    管理员登录FineBI系统,点击「管理系统>智能运维>集群配置」。

    下文所有配置操作均在本页面完成。

    4. 配置状态服务器

    准备内容:

    标准集群的状态服务器建议使用Redis单机作为状态服务器。

    • 请先确保Redis单机已启动,否则工程无法成功连接它。

    • 请准备好Redis单机的密码(如果没有密码可不准备)

    • 请准备好Redis单机节点的主机IP和端口号(不建议使用域名,请准备内网IP)

    配置步骤:

    1)开启「状态服务器」按钮。

    2)选择缓存系统为「Redis单机」。

    3)输入Redis单机节点的主机IP和端口。

    4)如有密码,输入密码;如无密码,忽略该步骤。

    5)配置完毕后,点击「测试连接并保存」,若无异常则可保存成功。

    效果预览:

    成功开启的状态服务器如下图所示:

    5. 配置MQ内置

    MQ内置功能专为「容器化部署」的集群准备,非容器化手动部署集群无需关注该步骤,直接跳过

    容器化部署 安装的工程,一般默认配置了 rocketmq 组件,rocketmq可替换 Redis 消息队列一部分功能。

    • 若未配置rocketmq,默认使用redis。

    • 若配置了rocketmq,rocketmq和redis同时生效,负责不同功能。

    6. 配置文件服务器

    配置前提:

    标准集群的文件一致性设置建议选择「文件服务器共享>SFTP」。

    • 请先确保第四章状态服务器配置成功,否则无法配置文件服务器。

    • 请先确保SFTP服务已启动,否则工程无法成功连接该文件服务器。

    准备步骤:

    1)将该工程节点的%FR_HOME%\webapps\webroot\WEB-INF文件夹拷贝到文件服务器中。

    2)为文件服务器中的 WEB-INF 文件夹赋予权限,Linux 系统中为 777 权限。

    3)SFTP 所在文件服务器防火墙需开放 22 端口。

    4)请准备好该文件服务器中该WEB-INF文件夹的路径地址,形如/home/ftpuser/WEB-INF

    5)请准备好该文件服务器的编码格式、主机IP、端口号、用户名、密码/密钥文件(主机IP请准备内网IP)

    配置步骤:

    1)文件一致性设置选择「文件服务器共享」

    2)在弹出框中协议选择「SFTP」

    3)输入上文准备的文件服务器信息

    4)配置完毕后,点击「测试连接并保存」,若无异常则可保存成功。


    效果预览:

    成功开启的文件服务器如下图所示:

    7. 配置缓存模式

    标准直连集群的缓存模式建议选择「关闭缓存」。

    8. 配置集群通信协议

    标准集群的集群通信协议建议选择「TCP」。

    9. 确认单节点集群配置成功

    1)开启「开启集群」按钮。

    2)重启该节点工程。

    3)再次查看「管理系统>智能运维>集群配置」,在节点管理处出现本工程节点。

    至此,该工程节点与外接数据库、状态服务器、文件服务器的对接完全成功,单节点集群部署成功。


    10. 配置多节点工程

    1)部署集群的其他工程节点

    部署方法请参考单机部署的「部署包部署」或「独立部署」。

    2)拷贝工程文件

    将上文的单机集群节点的%BI_HOME%\webapps\webroot文件夹,分别拷贝覆盖新部署的其他工程节点的%BI_HOME%\webapps\webroot文件夹。

    3)修改spider.cluster.properties(可选)

    如需调整端口等配置,可执行本节操作。如无需调整,可跳过。

    在每个新工程节点的%BI_HOME%\webapps\webroot\WEB-INF\config目录下,找到spider.cluster.properties文件,修改相关配置。

    设置内容说明
    spider_grpc_port=xxx

    设置spider引擎rpc端口,如不配置,默认端口为50051

    确保配置一个空闲可用的端口即可

    bi_conf_rpc_port=xxx

    设置新配置框架的rmi,如不配置,默认端口为50200

    确保配置一个空闲可用的端口即可

    is_sync_node=true

    设置工程节点属性,如不配置,默认为同步节点

    • false:非同步节点

    • true:同步节点

    四节点以下集群,建议所有集群节点都配置为true

    五节点以上集群,建议其中四个节点为true,其他为false

    4)删除cluster.properties

    找到新工程节点的%BI_HOME%\webapps\webroot\WEB-INF\config目录,如果存在cluster.properties文件,删除该文件。

    5)重启这些新工程节点

    11. 确认多节点集群配置成功

    管理员依次登录每一个工程节点,查看「管理系统>智能运维>集群配置」,在节点管理处出现所有工程节点信息。

    至此,所有工程节点与外接数据库、状态服务器、文件服务器的对接完全成功,多节点集群部署成功。

    12. 配置负载均衡

    负载均衡可以通过各种算法来分配用户请求到不同的节点上,以获得更好的性能和负载均衡效果。

    标准集群的负载均衡建议选择「Nginx」。

    请先确保已参考文档进行部署:Linux系统安装配置Nginx

    配置步骤:

    1)修改nginx.conf

    以该文件作为基础:抽取集群nginx.zip

    参考文档修改nginx.conf文件:Linux系统安装配置Nginx


    2)重启Nginx组件。

    13. 确认标准集群配置成功

    在浏览器输入ip:负载均衡端口号/status查看健康页面,可以看到工程各个节点的健康状态。

    至此,一个标准的多节点集群就部署成功了。

    14. 确认抽取集群启用

    高可用集群生效后,抽取集群自动生效。

    管理员登录FineBI,点击「管理系统>系统管理>抽取集群」,即可查看节点信息。

    SYNC为同步节点,ASYNC为非同步节点,具体说明请参见:抽取集群管理界面

    用户可以尝试添加、更新、查询抽取的基础表和自助数据集,如果无异常说明已成功搭建抽取集群。

    15. 下一步操作


    下一步操作
    说明
    集群注册

    若单机工程原本注册了,升级为多节点集群后,需要重新注册

    产品安全加固指导手册参考文档提高产品安全性
    运维监控指导手册参考文档提高运维稳定性
    运维平台建议为集群配置运维平台工具



    附件列表


    主题: 部署集成
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持