历史版本3 :直连数据和抽取数据的区别 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1、描述编辑

FineBI的Spider引擎包含了三种数据计算模式:本地模式、分布式模式和直连模式。其中本地模式与分布式模式实现的是将数据库的数据抽取到本地保存,保存数据业务包从数据库中取出来的数据表、字段、表间关系,转义等等,可支持离线使用;直连模式是指直接连接数据库获取实时的数据进行分析。实时数据的性能与计算依赖于数据库,而抽取数据需要web服务器的本地磁盘作为数据存储,或者利用多台机器做分布式存储,计算性能由数据引擎决定。
222

Spider引擎的本地模式,利用本地磁盘存储,并行数据计算,在小数据量情况下,展示效果优异,且轻量方便。
在数据量激增之后,可横向扩展机器节点,利用Spider引擎专为支撑海量大数据分析而生的分布式方案。Spider引擎分布式模式,结合Hadoop大数据处理思路,以最轻量级的架构实现大数据量高性能分析。此分布式方案集成了Alluxio 、Spark、 HDFS、zookeerer等大数据组件,结合自研高性能算法,列式存储、并行内存计算、计算本地化加上高性能算法,解决大数据量分析问题以及在FineBI中快速展示的问题。同时从架构上保证了引擎系统全年可正常使用。
Spider引擎的直连模式,可以直接对接数据库做实时大数据分析。将用户在FineBI前端拖拽分析的操作,实时地转化为经过处理的查询语言,实现对企业数据库的数据进行实时分析的效果。

直连模式的实时数据与本地模式以及分布式模式下的抽取数据可以灵活转换,使得分析更加灵活方便。企业可根据自身的需要采取相应的数据保存模式。

2、索引编辑

直连模式:实时数据

本地/分布式模式:数据更新(抽取数据)