数据仓库场景
- 数仓拉链表（来源表数据小于10000）
- 文档创建者:Wendy123456 创建时间:03-17 14:29 标签: 编辑:12次 | 浏览:9130次
-
摘要:1. 概述1.1 应用场景在实际业务场景中，做数据增量更新的时候，有时候会碰到以下情况：当表数据很大时，每次更新只有很小一部分数据，如果只保留一张全量表，则无法查询历史某个时间段表的全量记录。如果每天都[阅读全文:]
- 数仓拉链表（来源表数据大于10000）
- 文档创建者:Wendy123456 创建时间:12-21 15:59 标签: 编辑:6次 | 浏览:847次
-
摘要:1. 概述1.1 应用场景数仓拉链表 文档中提供的方案，使用「参数赋值」节点将来源表中的 ID 字段输出为参数，但「参数赋值」节点要求输出的参数不能超过 10000 个，若来源表数据超过 10000 条[阅读全文:]
- 实时ODS层数仓搭建方案
- 文档创建者:Roxy 创建时间:10-31 17:05 标签: 编辑:10次 | 浏览:4254次
-
摘要:1. 概述1.1 背景数仓调度场景概述 介绍了如何使用 FineDataLink 将不同数据源数据整合并搭建数据仓库，通过设置定时任务更新调度实现数据仓库数据的持续更新。其中在构建 ODS 层[阅读全文:]
- 数仓调度场景概述
- 文档创建者:Roxy 创建时间:08-15 17:20 标签: 编辑:20次 | 浏览:12273次
-
摘要:1. 概述1.1 背景数据仓库的调度配置是实际业务中必不可少的一环。通过调度配置，可以实现数据的更新同步，从而让数据持续的应用在业务中。例如，某销售公司当前情况如下：当前有两个部门的数据：「销售」和「财[阅读全文:]
- 数据抽取失败后进行数据回滚
- 文档创建者:Wendy123456 创建时间:02-27 15:20 标签: 编辑:16次 | 浏览:2040次
-
摘要:1. 概述1.1 应用场景在数据同步时，当历史数据量很大，为保证数据的时效性，需要对数据定时进行增量更新。在增量更新过程中，若遇到字段异常值、脏数据等问题，将导致数据同步一段时间后任务失败。此时目标表中[阅读全文:]
- 设置DW层任务
- 文档创建者:Roxy 创建时间:08-16 17:56 标签: 编辑:4次 | 浏览:3387次
-
摘要:1. 概述数仓调度场景案例给出了整体的调度方案，本文将为你介绍如何设置 DW 层任务。DW 层任务即将 ODS 层数据中更新的数据同步至 DW 层数据中。若已有的 ODS 层数据中最新更新时间（比如最新[阅读全文:]
- 设置ODS层任务
- 文档创建者:Roxy 创建时间:08-16 17:50 标签: 编辑:6次 | 浏览:4676次
-
摘要:1. 概述数仓调度场景案例给出了整体的调度方案，本文将为你介绍如何设置 ODS 层任务。设置 ODS 层任务需要将来自接口数据的「财务数据」和存储在固定数据库的「销售数据」通过 FineDataLink[阅读全文:]