最新历史版本 :如何选择直连数据和抽取数据 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineBI 版本
调整功能
7.0-

1.2 应用场景

本文将为用户介绍「抽取数据」和「直连数据」是什么,以及它们之间有什么区别,如何去选择等等。

2. 抽取与直连的介绍编辑

引擎介绍


引擎介绍

抽取数据

使用抽取数据时, FineBI 将数据库中的数据抽取到 FineBI 中(相当于另存到 FineBI 中),所以数据库中的数据与 FineBI 中的数据不能随时保持同步。需要定期对 FineBI 中的数据进行更新,从而保持和数据库中的数据一致。因为数据需要抽取保存到 FineBI 的引擎中,所以「抽取」版本下,需要用户的本地磁盘拥有足够的空间。

通过缓存数据/构建数据副本的方式,支撑较大数据量的OLAP深度自助分析,加速查询的性能,保障其分析体验,同时尽可能避免对业务数据库的影响,满足用户复杂业务环境下的深度分析需求。

直连数据

使用的是直连数据集时,FineBI 直接使用用户的数据库中的数据计算, FineBl 中的数据与数据库中的数据保持同步。借助客户大数据平台/数仓,满足客户高并发、大数据量前提下的简单自助分析。

使用要求


使用要求

抽取数据

服务器性能满足要求:工程部署推荐环境及配置

直连数据

  • 自有大数据平台,自身数据库可靠性高,性能好

  • 不同数据库类型,分别依照建议的使用模式进行自助分析

  • 可用 Web 集群对接数据库来支撑高并发量

  • 有一定的数据库运维能力

  • 对数据分析无深入分析需求

使用场景


使用场景

抽取数据

适用于几乎所有场景

直连数据适用于已有数仓/高性能数据库,由于非技术原因要用直连的客户(如不允许数据在其他系统)

直连和抽取对比


优势劣势

抽取数据

  • 更快:基于帆软自研引擎,无论大数据还是轻量分析,都能显著提升查询速度

  • 更稳:中大客户可作为数据加速层,减少实时计算压力;中小客户可一体化部署,兼容主流BI工具,确保系统稳定

  • 更省:无需额外部署,降低硬件与运维成本

需进行数据同步,实时性稍逊

直连数据
  • 实时查询数据,延迟低

  • 无需数据同步,数据一致性强

  • 受数仓性能影响,查询慢时难优化

  • 大量复杂查询可能加大数仓负担


客户画像


客户画像

抽取数据

  • 现有数仓查询性能较差,BI查询响应慢

  • 业务对查询速度敏感,例如运营数据分析、销售分析等场景

  • 需要降低数仓压力,避免影响其他业务系统的稳定性

  • 没有复杂的事务管理要求,实时性要求不高,可以定期同步数据

直连数据

需同时满足以下几点:

  • 已有大数据平台、专门的计算引擎,自身数据库可靠性高、性能好,如StarRocks、Doris(SelectDB)、Hologres 、Vertica、GaussDB200等

  • 数据量超过10亿

  • 没有复杂分析场景,仅有简单自助分析场景:

    1. 自助数据集复杂计算步骤数(左右合并、从其他表添加列、新增汇总列、新增公式列-DEF函数、行转列、列转行的总步骤数)≤2

    2. 限制直连数据集血缘层数上限为3层

    3. 如使用主题模型,自助数据集中就不能有复杂计算步骤

  • 需要实时查询最新数据,例如金融、实时监控类业务

  • 具备强大的数仓管理能力,能够优化复杂查询性能

  • IT团队对BI查询优化较为熟悉,能够自行排查SQL性能问题

3. 如何选择抽取与直连编辑

icon提示:

优先推荐抽取数据,它能为你带来更稳定、高效的数据分析体验,同时享受更全面的资源支持与服务保障。

亿级数据量,自助分析场景,推荐使用抽取数据(大部分企业的选择)

  • 结果集数据量是小数据量(千万级及以下),用 抽取数据

  • 结果集数据量是大数据量(亿级及以下),优先推荐 抽取数据

亿级数据量表很多,时效性高,固定看板场景为主,使用直连数据

结果集数据量在亿级以上,且时效性要求高(小时级的更新),推荐使用 直连数据

注:本节描述的数据量均指结果集数据量,即仪表板中使用的直接表的数据量,而不是指基础表。

4. 组件中抽取与直连的计算逻辑编辑

4.1 相同场景的计算逻辑

计算逻辑抽取直连
快速计算过滤对合计值的影响不影响
不影响
快速计算过滤对其他快速计算指标的影响不影响不影响
快速计算过滤对其他快速计算合计的影响不影响不影响
维度依据指标过滤/排序依赖合计结果进行过滤/排序依赖合计结果进行过滤/排序
交叉表过滤逻辑依据过滤条件正常过滤依据过滤条件正常过滤
过滤器的过滤和表头过滤在同一过滤级别下取两者过滤条件的交集取两者过滤条件的交集
null 和空字符串的过滤逻辑不同选择 null 或空字符串过滤,把 null 和空字符串全部都过滤掉

依据数据库的逻辑进行过

若数据库逻辑是空过滤空,null 过滤 null ,则结果与抽取不同