1. 概述
本文将介绍抽取集群的部署步骤。
如您计划部署6.0抽取集群,请先联系帆软技术支持(技术支持联系方式:QQ「800049425」、电话「400-811-8890」)或您对接的帆软销售代表,进行初步评估、以及环境信息等的确认。
注:如您未联系过帆软,自行进行集群的部署,无法保证遇到未知风险后能够及时处理。
2. 操作步骤
2.1 检查端口
以下端口不配进程分离也需要保证开启
端口号 | 说明 | 修改方式 |
---|---|---|
50050 | 进程分离后 grpc 端口(client 端,即 bi 端) | 文件:/WEB-INF/config/spider.cluster.properties bi_grpc_port=50050 |
50051 | 进程分离后 grpc 端口(service 端,即 spider 端) | 文件:/WEB-INF/config/spider.cluster.properties spider_grpc_port=50051 |
50100 | spider 进程分离情况下 spider 的 rpc 端口 特指抽取集群模块内部的rpc端口 | 文件:/WEB-INF/config/spider.cluster.properties spider_server_port=50100 |
50101 | spider 进程分离情况下 bi 的 rpc 端口 特指抽取集群模块内部的rpc端口 | 文件:/WEB-INF/config/spider.cluster.properties bi_server_port=50101 |
50200 | 集群数据同步 | 文件:/WEB-INF/config/bi.conf.properties rpc.port=50200 |
2.2 环境准备
需要先搭建一个Web集群环境出来,作为抽取集群的前提。Web集群搭建步骤见:
注:要确认集群每个节点时间是否一致,两个节点时差不能超过10s。
操作系统 | Web集群搭建方案 |
---|---|
Linux | Linux系统搭建Web集群 |
Windows | Windows系统搭建Web集群 |
2.3 校验id
确认/WEB-INF/config/cluster.properties里面的 id 不要重复,如下图所示:
2.4 创建文件
如果集群下节点都配置为同步节点,这一步不需要做。
当要区分同步和非同步节点时候,才需要在不同节点下创建/WEB-INF/config/spider.cluster.properties文件。
同步节点:is_sync_node=true
非同步节点:is_sync_node=false
2.5 启用抽取集群
配置好后依次重启集群每个节点即可,启动后可参考抽取集群管理界面,管理员进入该界面后,查看各节点状态,判断是否正常启动。
3. 常见问题
问题 | 解决方案 |
---|---|
更新中所有同步节点宕机,则集群直接不可用 | 重启任一同步节点恢复 |
清了 redis 导致集群不可用 | 重启所有节点恢复 |
有节点宕机时部分请求无响应 | 等待一段时间重新刷新 |
集群所有节点都变成 recover 状态 | 等待一小段时间直至有节点恢复成同步节点 若长时间不能恢复,参考抽取集群管理界面,重置节点状态为同步节点 |