最新历史版本 :维度表输入&数据关联 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
icon提示:

产品注册版本为「v5.0」时,才能使用数据开发-实时任务:

1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表

2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
5.0.0.1-
5.0.1.4关联字段类型(数值、文本、日期时间、布尔)需要保持一致
5.0.1.5实时任务中若使用 WebSocket输入MQTT输入IBM MQ输入Pulsar输入,不能再使用数据关联(多个实时数据源进行关联)
5.0.4.2
数据关联算子中,支持自定义选择关联后输出的字段

1.2 应用场景

希望读取实时输入源后,跨数据库表关联后实时入库。

1.3 功能简介

场景
说明备注
使用多个或一个「维度表输入」算子与一个「实时数据源」关联后实时落库

维度表的变化不会实时改变目标表的数据,只有当实时数据源中的表发生变化并且关联最新维度表数据后才能更

实时数据源必须是左表
个实时数据源进行关联


若关联数据为多个实时数据源和 N 个维度表:

维度表的变化不会实时改变目标表的数据,只有当实时数据源中的表发生变化并且关联最新维度表数据后才能更新

需要配置 Flink 引擎

实时数据源必须是左表

若关联数据都为实时数据源:

左右两表的数据变化都会更新到目标表中

2. 功能说明编辑

2.1 维度表输入

13.png

配置项说明
数据连接

创建并管理数据源之后即可选择对应数据连接

支持的数据源:定时任务支持的数据源范围(基础数据源+进阶数据源-大数据)

配置方式支持 SQL、选表两种方

SQL、选表的使用与定时任务中相同,详情请参见:配置方式

维度表输入不可以作为独立的输入算子进行输出,维度表输入后必须接数据关联算子且关联算子必须包含一个实时数据源

2.2 数据关联

14.png

1)数据关联的前置算子中,默认取前 5000 条数据进行关联,导致用户在「数据关联」算子中查看关联效果时,可能出现关联效果不准确的问题;用户可在前置算子中修改样本设置为全量数据。如下图所示:

任务实际运行时,是会使用全量数据做关联操作的。

点击展开更多
33.png

2)各设置项说明如下表所示:

注1:若数据关联前的输入算子包含多个实时数据源,需要配置 Flink 引擎

注2:5.0.1.5 及之后版本,实时任务中若使用 WebSocket输入MQTT输入IBM MQ输入Pulsar输入,不能再使用数据关联(多个实时数据源进行关联)。

配置项说明
连接逻辑
  • 支持多个实时数据源进行关联

  • 不支持只有两个维度表进行关联

左表

当实时数据源和维度表输入关联时,实时数据源必须是左表

连接方式

连接方式:左连接、右连接、内连接、全外连接,详情参见:数据关联功能简介

  • 当实时数据源和维度表关联时,只支持左连接、内连接

  • 数据关联前的输入算子都为实时数据源时,支持左连接、右连接、内连接、全外连接

右表

右表可以选择维度表、实时数据源

连接字段
  • 一个关联配置中可以设置多关联字段

  • 可以选择任意左表的字段

注:5.0.1.4 及之后版本,关联字段类型(数值、文本、日期时间、布尔)需要保持一致,否则给出报错提示

高级配置

5.0.4.2 及之后版本,支持自定义选择关联后输出的字段;未选择时,默认输出所有关联后的字段

1760493118571673.png

数据预览

按照实时数据源的样本设置和算子配置进行数据预览

若左表和右表都为实时数据源,建议同步类型一致;否则:

场景

当左表选择存量+增量同步,右表选择增量同步时:

  • 左表的数据会关联不到右表,目标表右表的字段会为空

  • 只有当右表对应的数据产生变更后,才会关联上

当左表选择增量同步,右表选择存量+增量同步时:
  • 目标表的数据会没有数据

  • 只有当左表有数据发生变更后,才会关联上右表的数据

3. 操作步骤编辑

例如用户希望实现实时跨数据库关联后入库。

3.1 准备工作

参考 实时任务使用流程,配置数据连接、缓存、数据库环境。

3.2 设置维度表输入

1)进入 FineDataLink 数据平台后,点击「数据开发>实时任务」,新建实时任务。如下图所示:

2.png

2)进入编辑界面后,拖入「维度表输入」算子,选择数据源和数据表。如下图所示:

3.png

点击「数据预览」即可看到取出的数据。如下图所示:

6.png

3.3 设置实时数据源输入

拖入实时数据源输入算子,比如 CDC 输入,选择数据源和数据表、读取方式、同步类型。如下图所示:

注:CDC输入详情参见:CDC输入

7.png

3.4 数据关联

新增「数据关联」算子,设置关联关系和关联字段。如下图所示:

8.png

预览数据,即可看到关联后的数据表。如下图所示:

1748312973415503.png

3.5 数据输出

设置数据实时计算后输出至指定的数据库中。如下图所示:

DB表输出设置详情参见:DB表输出(实时任务)

10.png

3.6 任务启动和管理

点击「启动,即可启动实时任务。如下图所示:

11.png

同时在任务管理界面看到任务运行状态。如下图所示:

12.png