数据更新概述

  • 文档创建者:doreen0813
  • 编辑次数:32次
  • 最近更新:Scyalcire 于 2020-10-20
  • 1. 概述

    1.1 应用场景

    FineBI的数据更新是指将数据库中的数据抽取到引擎存储,本地模式使用本地磁盘存储(需要充足的存储空间)。在不为数据表开启 实时数据 的情况下,数据表均需将数据库中的数据抽取到引擎存储,也就是需要进行数据更新才能使用。

    1.2 功能简介

    按照更新内容的不同包括:全局更新业务包更新单表更新,这些更新方式均可设置手动立即更新定时更新

    其中单表更新的设置中还包含全量更新增量更新。如下图所示:

    1590387914233710.png

    各类更新详细介绍参见 4. 索引

    注:若在数据库对表结构进行更改(进行了列的增减),进行数据更新后表结构的变化不更新到在数据准备页面。需要在数据准备节点下对表编辑,勾选新添加进来的字段,若有标红的字段则取消勾选。

    2. 更新逻辑

    • FineBI 只在定时更新时才会自动更新,其他都需手动才能更新。

    • FineBI 进行数据更新时生成的是临时文件夹,在更新成功后替换原先文件夹,若有表更新不成功,不会一直更新直到成功更新,而是只更新一次。在提示信息中显示报错,并将生成的临时文件夹丢弃,不影响原有的数据。

    • 当有任何一种方式的数据更新正在进行时,其他方式的数据更新加入等待队列,加入队列中的数据表按照队列优先级等待后续数据更新。且已加入队列等待更新的数据表若再进行修改,该修改将无法更新上,需要在该次更新完成后重新更新。

    3. 更新方式选择

    • 避免出现大量的单表且更新时间比较长的定时更新,尽量使用 全局更新 ,可设置一天一次。

    • 更新时将相近时间的任务合并,放在一起更新,减少自助数据集重复更新。

    • 每次数据更新的时间间隔越远越好。

    • 不展示的数据集,设置为不抽取,一般是中间步骤的数据集。

    • 若添加了 SQL 数据集后,预览显示缓慢,则需要优化 SQL 语句,否则可能会出现更新卡住。

    4. 索引

    5. 注意事项

    部署 FineBI 的环境中不支持同时安装卡巴斯基杀毒软件,若有类似卡巴斯基杀毒扫描软件后台运行可能会因为后台扫描引起文件占用,从而导致数据表更新失败。

    附件列表


    主题: 连接到数据
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!