摘要:1. 概述1.1 背景数据仓库的调度配置是实际业务中必不可少的一环。通过调度配置,可以实现数据的更新同步,从而让数据持续地应用在业务中。例如,某销售公司当前情况如下:当前有两个部门的数据:「销售」和「财[阅读全文:]
摘要:1. 概述1.1 应用场景数仓拉链表 文档中提供的方案,使用「参数赋值」节点将来源表中的 ID 字段输出为参数,但「参数赋值」节点要求输出的参数不能超过 10000 个,若来源表数据超过 10000 条[阅读全文:]
摘要:1. 概述1.1 应用场景在实际业务场景中,做数据增量更新的时候,有时候会碰到以下情况:当表数据很大时,每次更新只有很小一部分数据,如果只保留一张全量表,则无法查询历史某个时间段表的全量记录。如果每天都[阅读全文:]
摘要:1. 概述1.1 应用场景在数据同步时,当历史数据量很大,为保证数据的时效性,需要对数据定时进行增量更新。在增量更新过程中,若遇到字段异常值、脏数据等问题,将导致数据同步一段时间后任务失败。此时目标表中[阅读全文:]
摘要:1. 概述1.1 背景数仓调度场景概述 介绍了如何使用 FineDataLink 将不同数据源数据整合并搭建数据仓库,通过设置定时任务更新调度实现数据仓库数据的持续更新。其中在构建 ODS 层[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 DW 层任务。DW 层任务即将 ODS 层数据中更新的数据同步至 DW 层数据中。若已有的 ODS 层数据中最新更新时间(比如最新[阅读全文:]
摘要:1. 概述数据仓库(DataWarehouse),一般缩写成 DW、DWH。数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。从字面上来看,数据仓库就是一个存放数据[阅读全文:]
摘要:1. 概述数仓调度场景案例给出了整体的调度方案,本文将为你介绍如何设置 ODS 层任务。设置 ODS 层任务需要将来自接口数据的「财务数据」和存储在固定数据库的「销售数据」通过 FineDataLink[阅读全文:]