抽取集群介绍

1. 方案介绍

帆软 FineBI 6.0 新版本,支持高并发和高可用的抽取集群方案,如果工程中含有抽取数据,建议您采用该方案搭建集群。

FineBI 6.0 抽取集群方案特性如下:

1)业务高可用

集群由多个同步节点和非同步节点组成,只要还有一台同步节点存活,就能够提供完整的数据,保证数据查询高可用性。

当数据更新在执行过程中出现异常(宕机或节点假死),则通过恢复机制,将正在进行的任务重新恢复为执行前的状态,并重新执行,以保证更新业务的高可用。

2)查询高并发

多台节点同时提供查询服务,实现负载均衡,查询并发量随节点数量近似线性提升,提供可横向扩展的查询能力。

注:这里并不优化单个节点的并发数。

3)提升更新吞吐量

可以通过增加节点的方式来提高更新性能,更新耗时随节点数变多呈现非线性降低的趋势。

注:这里并不优化单个节点的更新性能和吞吐量。

2. 注意事项

如您计划部署6.0抽取集群,请先联系帆软技术支持(技术支持联系方式:QQ「800049425」、电话「400-811-8890」)或您对接的帆软销售代表,进行初步评估、以及环境信息等的确认。

注:如您未联系过帆软,自行进行集群的部署,无法保证遇到未知风险后能够及时处理。

3. 原理简述

1)更新调度

  • 数据更新请求可以向所有节点均衡转发。

  • 所有节点均可对更新任务进行预处理,将更新任务的信息存储到任务队列。

  • 所有同步节点可领取数据集更新子任务,并进行实际的抽取。

  • 数据集在某节点抽取完成后,会同步到其他同步节点,全部同步完成后,该数据集才视为更新完成。

2)数据同步

同步节点:

  • 该类节点上的数据文件状态都保持最新,即保持数据强一致性。更新过程中,必须保证该类节点数据同步完成,才算更新成功。

  • 该类节点是高可用的基本保障,也是查询和更新高并发的主力。

非同步节点:

  • 该类节点上的数据文件状态可以不是最新,保持数据在最终是一致的即可。通过同步的机制,逐渐将该类节点上的数据,更新为和同步节点一样的状态。

  • 该类节点是查询高并发的支撑。

3)查询请求转发

  • 数据查询请求可以向所有节点均衡转发;

  • 若状态服务器返回的节点数据状态为最新状态,则由该节点处理请求;

  • 若节点数据落后,则BI内部转发请求到最新数据的节点,并触发本节点的数据同步。

抽取集群.jpg

4. 特性表现(非正式结果)

1)高可用时间提升

与热备相比,抽取集群中节点宕机时不再会有节点切换的耗时,降低了不可用的时间。

此外,6.0集群还支持更新业务的高可用,提供更新任务的异常恢复机制。

2)更新性能提升

更新时间随节点数变多呈现非线性降低趋势。

节点-更新类型
性能提升/耗时减少
单节点-业务包更新-
3节点-业务包更新27%
单节点-全局更新-
3节点-全局更新23%

注:由于数据同步机制的存在,单表任务的更新性能会比单节点有所下降(控制在10%以内)。

3)查询性能线性提升

抽取集群的查询,达到了真正的负载均衡,且并发性能可以随节点增加而线性增加。(性能提升随节点数增加非整倍的提升,会有一定的衰减)

节点-并发数性能提升到的倍数
单节点-10并发-
4节点-40并发3.6
7节点-70并发6.7
单节点-20并发-
4节点-80并发3.6
7节点-140并发6.1


附件列表


主题: 資料準備
已经是第一篇
已经是最后一篇

滑鼠選中內容,快速回饋問題

滑鼠選中存在疑惑的內容,即可快速回饋問題,我們將會跟進處理。

不再提示

10s後關閉

獲取幫助
線上支援
獲取專業技術支援,快速幫助您解決問題
工作日9:00-12:00,13:30-17:30在线
頁面反饋
針對當前網頁的建議、問題反饋
售前咨詢
業務咨詢
電話:0933-790886或 0989-092892
郵箱:taiwan@fanruan.com
頁面反饋
*問題分類
不能為空
問題描述
0/1000
不能為空

反馈已提交

网络繁忙