1. 概述编辑
本文将介绍抽取集群的完整部署步骤。
如您计划部署6.0抽取集群，请先联系帆软技术支持（技术支持联系方式：「服务平台>在线支持」、电话「400-811-8890」）或您对接的帆软销售代表，进行初步评估、以及环境信息等的确认。
注：如您未联系过帆软，自行进行集群的部署，无法保证遇到未知风险后能够及时处理。
2. 操作步骤编辑
2.1 环境准备
需要先搭建一个Web集群环境出来，作为抽取集群的基础。Web集群搭建步骤见：
| 操作系统 | Web集群搭建方案 |
|---|---|
| Linux | Linux系统搭建Web集群 |
| Windows | Windows系统搭建Web集群 |
如果已配置好Web集群及相关组件可忽略这一步。
注：搭建好后请先不要启动或在平台开启web集群，请先完成本文配置！
2.2 检查端口
抽取集群需要额外开放50051和50200，保证节点间互通。
端口号 | 说明 | 修改方式 | 修改结果查看 |
|---|---|---|---|
| 50051 | spider引擎rpc端口 | WEB-INF/config/spider.cluster.properties文件中加一行 spider_grpc_port=XXX （不配默认为50051）
| 最终系统管理>抽取集群界面该节点的grpcPort为修改后的值
|
| 50200 | 新配置框架的rmi | WEB-INF/config/spider.cluster.properties文件中加一行 bi_conf_rpc_port=XXX （不配默认为50200）
| fanruan.log启动日志中server port和expose port均为修改后的值
|
2.3 确认各节点服务器时间一致
确认各节点服务器时间差不超过10s，若不一致需要同步一下服务器时间；
2.4 校验节点id
确认各节点工程WEB-INF/config/cluster.properties里面的id不要重复，如下图所示：
2.5 调整配置
6.0装好集群组件，需要额外配置的地方如下：
| 模块 | 步骤 | 描述 | 说明 |
|---|---|---|---|
| 集群工程 | 创建文件，配置节点属性 | WEB-INF/config/下创建spider.cluster.properties文件 | 按需配置，指定节点属性 |
| 集群组件 | 给redis配置日志 | redis.conf中加一行：logfile "redis.log"，之前的默认配置是：logfile ""。 （已补充到Linux系统安装配置单机Redis） | 对6.0抽取集群来说，redis是比较关键的组件，需要配置下日志，便于日后排查问题。 配置后日志会自动生成在src目录下。 |
nginx配置 | 抽取集群nginx.zip 可以下载该附件，并参考Nginx.conf配置手册配置nginx.conf
| 6.0抽取集群请求均为随机转发 | |
| 系统参数（应用服务器需配置） | 更改系统参数：vm.max_map_count | vim /etc/sysctl.conf | Linux Distro Virtual Memory Areas 默认的vm.max_map_count值是65530，太小不足以支撑ELK的运行。需要将该值增大到至少262144 |
更改系统参数： | vim /etc/profile 在/etc/profile文件中加一行： | 调大文件打开数 | |
| 更改系统参数： | 判断glibc版本： 运行命令 ldd --version 若glibc版本不是2.12：startup.sh 文件第一行增加一行内容：export MALLOC_ARENA_MAX=1，重启tomcat | 解决宕机隐患问题 |
2.6 拷贝数据
由于手动拷贝db的操作需要停机且有传输失败的风险，拷贝后还需要额外全局更新，时间成本比较高。升级到6.0集群后，我们支持不拷贝db开启集群。
需要确保先启动数据存放路径下db数据比较全的节点（如5版本的spider单节点或热备的主节点），启动时会校验表状态，把当前节点所有表的状态存在配置库里，后启动的节点就开启recover恢复流程进行同步，保证数据一致性。
2.7 启用抽取集群
完成上述配置后，可按平台配置集群中第3节开启集群。开启集群后，抽取集群自动生效。
启动成功后，可在系统管理>抽取集群中查看节点信息，SYNC为同步节点，ASYNC为非同步节点，具体说明详见抽取集群管理界面。
可以尝试添加、更新、查询抽取的基础表和自助数据集，如果无异常说明已成功搭建抽取集群。
3. 常见问题编辑
| 问题 | 解决方案 |
|---|---|
| 更新中所有同步节点宕机，则集群直接不可用 | 重启任一同步节点恢复 |
| 清了 redis 导致集群不可用 | 重启所有节点恢复 |
| 有节点宕机时部分请求无响应 | 等待一段时间重新刷新 |
| 集群所有节点都变成 recover 状态 | 等待一小段时间直至有节点恢复成同步节点 若长时间不能恢复，参考抽取集群管理界面，重置节点状态为同步节点 |