1. 概述编辑
本文将介绍抽取集群的部署步骤。
2. 操作步骤编辑
2.1 检查端口
以下端口不配进程分离也需要保证开启
| 端口号 | 说明 | 修改方式 |
|---|---|---|
| 50050 | 进程分离后 grpc 端口（client 端，即 bi 端） | 配置库 DistributedOptimizationConfig.spiderConfig.spider_client_rpc_port |
| 50051 | 进程分离后 grpc 端口（service 端，即 spider 端） | 配置库 DistributedOptimizationConfig.spiderConfig.spider_server_rpc_port |
| 50100 | spider 进程分离情况下 spider 的 rpc 端口 特指抽取集群模块内部的rpc端口 | 文件：/WEB-INF/config/spider.cluster.properties spider_server_port=50100 |
| 50101 | spider 进程分离情况下 bi 的 rpc 端口 特指抽取集群模块内部的rpc端口 | 文件：/WEB-INF/config/spider.cluster.properties bi_server_port=50101 |
| 50200 | 集群数据同步 | 文件：/WEB-INF/config/bi.conf.properties rpc.port=50200 |
2.2 环境准备
需要先搭建一个Web集群环境出来，作为抽取集群的前提。Web集群搭建步骤见：
注：要确认集群每个节点时间是否一致，两个节点时差不能超过10s。
| 操作系统 | Web集群搭建方案 |
|---|---|
| Linux | Linux系统搭建Web集群 |
| Windows | Windows系统搭建Web集群 |
2.3 校验id
确认/WEB-INF/config/cluster.properties里面的 id 不要重复，如下图所示：
2.4 创建文件
如果集群下节点都配置为同步节点，这一步不需要做。
当要区分同步和非同步节点时候，才需要在不同节点下创建/WEB-INF/config/spider.cluster.properties文件。
同步节点：is_sync_node=true
非同步节点：is_sync_node=false
2.5 启用抽取集群
配置好后依次重启集群每个节点即可，启动后可用http://nginxIP/webroot/decision/v5/cluster/nodes查看各节点状态，效果如下图所示：
3. 常见问题编辑
| 问题 | 解决方案 |
|---|---|
| 更新中所有同步节点宕机，则集群直接不可用 | 重启任一同步节点恢复 |
| 清了 redis 导致集群不可用 | 重启所有节点恢复 |
| 有节点宕机时部分请求无响应 | 等待一段时间重新刷新 |
| 集群所有节点都变成 recover 状态 | 等待一小段时间直至有节点恢复成同步节点 若长时间不能恢复，使用url：http://节点ip:端口号/webroot/decision/v5/cluster/update/sync 重置节点状态为同步节点 |