反馈已提交

网络繁忙

数据仓库场景专题

  • 文档创建者:Roxy
  • 历史版本:1
  • 最近更新:Roxy 于 2024-05-21
  • 1. 概述

    数据仓库(DataWarehouse),一般缩写成 DW、DWH。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从字面上来看,数据仓库就是一个存放数据的仓库,它里面存放了各种各样的数据,而这些数据需要按照一些结构、规则来组织和存放。

    使用 FineDataLink 实现可视化多源异构数据整合,高效搭建数仓,通过DAG+低代码开发模式搭建企业级数仓,快速消灭信息孤岛,历史数据全部入仓,支持更多分析场景;同时将计算压力转移到数据仓库,降低对业务系统的压力。

    本文将向用户介绍如何使用 FineDataLink 搭建简单的数仓;各种小数仓搭建示例;数仓拉链表的应用场景和实现步骤。

    2. 索引

    序号应用场景方案说明文档
    1对数仓实时性要求不高,定期更新即可;需要大量的数据清洗处理

    简单的定时数仓调度任务设计和实现方式

    数仓调度场景概述
    2数据实时性要求高,ODS 层仅数据迁移,不计算

    ODS层使用数据管道实现实时同步

    DW 和 ODS 层使用定时任务并设置调度定期更新

    实时ODS层数仓搭建方案
    3目标表内的所有数据只增不减,对于来源表新增、删除、更新数据进行处理

    定时任务中数仓拉链表设计和实现

    数仓拉链表(来源表数据大于10000)

    数仓拉链表(来源表数据小于10000)

    4增量更新过程中,若遇到字段异常值、脏数据等问题,此时目标表中已同步了部分数据,需要将目标表进行数据回滚到此次增量更新前的数据。

    目标表中存在标识字段,标识字段有默认值,目标表中存在逻辑主键。

    最新同步到目标表中的数据标识值为空,通过标识字段是否有值判断数据的新旧

    数据抽取失败后进行数据回滚
    5人事小数仓搭建示例展示,提供客户借鉴方案人事系统数据仓库建设



    附件列表


    主题: 最佳实践
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持