搭建抽取集群

1. 概述

本文将介绍抽取集群的部署步骤。

如您计划部署6.0抽取集群,请先联系帆软技术支持(技术支持联系方式:QQ「800049425」、电话「400-811-8890」)或您对接的帆软销售代表,进行初步评估、以及环境信息等的确认。

注:如您未联系过帆软,自行进行集群的部署,无法保证遇到未知风险后能够及时处理。

2. 操作步骤

2.1 检查端口

以下端口不配进程分离也需要保证开启

端口号
说明修改方式
50050进程分离后 grpc 端口(client 端,即 bi 端)

文件:/WEB-INF/config/spider.cluster.properties

bi_grpc_port=50050

50051进程分离后 grpc 端口(service 端,即 spider 端)

文件:/WEB-INF/config/spider.cluster.properties

spider_grpc_port=50051

50100

spider 进程分离情况下 spider 的 rpc 端口

特指抽取集群模块内部的rpc端口

文件:/WEB-INF/config/spider.cluster.properties

spider_server_port=50100

50101

spider 进程分离情况下 bi 的 rpc 端口

特指抽取集群模块内部的rpc端口

文件:/WEB-INF/config/spider.cluster.properties

bi_server_port=50101

50200集群数据同步

文件:/WEB-INF/config/bi.conf.properties

rpc.port=50200

2.2 环境准备

需要先搭建一个Web集群环境出来,作为抽取集群的前提。Web集群搭建步骤见:

注:要确认集群每个节点时间是否一致,两个节点时差不能超过10s。

操作系统Web集群搭建方案
LinuxLinux系统搭建Web集群
WindowsWindows系统搭建Web集群

2.3 校验id

确认/WEB-INF/config/cluster.properties里面的 id 不要重复,如下图所示:

1658475654869943.png

2.4 创建文件

如果集群下节点都配置为同步节点,这一步不需要做。

当要区分同步和非同步节点时候,才需要在不同节点下创建/WEB-INF/config/spider.cluster.properties文件。

同步节点:is_sync_node=true

非同步节点:is_sync_node=false

2.5 启用抽取集群

配置好后依次重启集群每个节点即可,启动后可参考抽取集群管理界面,管理员进入该界面后,查看各节点状态,判断是否正常启动。


3. 常见问题

问题解决方案
更新中所有同步节点宕机,则集群直接不可用重启任一同步节点恢复
清了 redis 导致集群不可用重启所有节点恢复
有节点宕机时部分请求无响应等待一段时间重新刷新
集群所有节点都变成 recover 状态等待一小段时间直至有节点恢复成同步节点

若长时间不能恢复,参考抽取集群管理界面重置节点状态为同步节点


附件列表


主题: 待翻译
已经是第一篇
已经是最后一篇
  • 有帮助
  • 没帮助
  • 只是浏览
  • 圖片不清晰
  • 用語看不懂
  • 功能說明看不懂
  • 操作說明太簡單
  • 內容有錯誤
中文(繁體)

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉

獲取幫助
線上支援
獲取專業技術支援,快速幫助您解決問題
工作日9:00-12:00,13:30-17:30在线
頁面反饋
針對當前網頁的建議、問題反饋
售前咨詢
業務咨詢
電話:0933-790886或 0989-092892
郵箱:taiwan@fanruan.com
頁面反饋
*問題分類
不能為空
問題描述
0/1000
不能為空

反馈已提交

网络繁忙