搭建抽取集群

  • Last update:  2022-09-14
  • 1. 概述

    本文将介绍抽取集群的部署步骤。

    如您计划部署6.0抽取集群,请先联系帆软技术支持(技术支持联系方式:QQ「800049425」、电话「400-811-8890」)或您对接的帆软销售代表,进行初步评估、以及环境信息等的确认。

    注:如您未联系过帆软,自行进行集群的部署,无法保证遇到未知风险后能够及时处理。

    2. 操作步骤

    2.1 检查端口

    以下端口不配进程分离也需要保证开启

    端口号
    说明修改方式
    50050进程分离后 grpc 端口(client 端,即 bi 端)

    文件:/WEB-INF/config/spider.cluster.properties

    bi_grpc_port=50050

    50051进程分离后 grpc 端口(service 端,即 spider 端)

    文件:/WEB-INF/config/spider.cluster.properties

    spider_grpc_port=50051

    50100

    spider 进程分离情况下 spider 的 rpc 端口

    特指抽取集群模块内部的rpc端口

    文件:/WEB-INF/config/spider.cluster.properties

    spider_server_port=50100

    50101

    spider 进程分离情况下 bi 的 rpc 端口

    特指抽取集群模块内部的rpc端口

    文件:/WEB-INF/config/spider.cluster.properties

    bi_server_port=50101

    50200集群数据同步

    文件:/WEB-INF/config/bi.conf.properties

    rpc.port=50200

    2.2 环境准备

    需要先搭建一个Web集群环境出来,作为抽取集群的前提。Web集群搭建步骤见:

    注:要确认集群每个节点时间是否一致,两个节点时差不能超过10s。

    操作系统Web集群搭建方案
    LinuxLinux系统搭建Web集群
    WindowsWindows系统搭建Web集群

    2.3 校验id

    确认/WEB-INF/config/cluster.properties里面的 id 不要重复,如下图所示:

    1658475654869943.png

    2.4 创建文件

    如果集群下节点都配置为同步节点,这一步不需要做。

    当要区分同步和非同步节点时候,才需要在不同节点下创建/WEB-INF/config/spider.cluster.properties文件。

    同步节点:is_sync_node=true

    非同步节点:is_sync_node=false

    2.5 启用抽取集群

    配置好后依次重启集群每个节点即可,启动后可参考抽取集群管理界面,管理员进入该界面后,查看各节点状态,判断是否正常启动。


    3. 常见问题

    问题解决方案
    更新中所有同步节点宕机,则集群直接不可用重启任一同步节点恢复
    清了 redis 导致集群不可用重启所有节点恢复
    有节点宕机时部分请求无响应等待一段时间重新刷新
    集群所有节点都变成 recover 状态等待一小段时间直至有节点恢复成同步节点

    若长时间不能恢复,参考抽取集群管理界面重置节点状态为同步节点


    Attachment List


    Theme: 部署集成
    前の記事
    次の記事
    • いいね
    • 良くない
    • 閲覧しただけ

    フィードバック

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    9s后关闭

    反馈已提交

    网络繁忙