历史版本4 :维度表输入&数据关联 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.1.13.4-

1.2 应用场景

希望读取实时输入源后,跨数据库表关联后实时入库。

1.3 功能简介

FineDataLink 「实时任务」支持使用「维度表输入」算子与「实时数据源」使用「数据关联」后实时落库。

2. 功能说明编辑

2.1 维度表输入


配置项说明
数据连接

创建并管理数据源之后即可选择对应数据连接

支持定时任务DB表输入中支持的数据库:详情参见:定时任务支持的数据源范围(基础数据源+进阶数据源-大数据)


来源表选择数据库、数据表


维度表输入不可以作为独立的输入算子进行输出,维度表输入后必须接数据关联算子且关联算子必须包含一个实时数据源

2.2 数据关联

配置项说明
连接
  • 不支持两个实时数据源进行关联

  • 不支持两个维度表输入进行关联

  • 只支持实时数据源和1个或多个维度表输入进行关联

左表

当实时数据源和维度表输入关联时,实时数据源必须是左表

当有超过2张表进行关联时,必须从实时数据源为左表开始关联其他维度表

连接方式:左连接、右连接、内连接、全外连接

  • 当实时数据源和维度表关联时,只支持左连接、内连接

右表

  • 右表只能是维度表

连接字段

  • 一个关联配置中可以设置多关联字段

  • 可以选择任意左表的字段

  • 当连接方式选择right join、full outer join时,左表连接字段就不能选择实时数据源的字段

数据预览
  • 如果是实时数据源和维度表输入进行join,按照实时数据源的样本设置和算子配置进行数据预览

关联方式支持四种,与定时任务数据关联相同,详情参见:数据关联功能简介

3. 操作步骤编辑

例如用户希望实现实时跨数据库关联后入库。

3.1 设置维度表输入

进入 FineDataLink 数据平台后,选择「数据开发>实时任务」,新建实时任务,如下图所示:

在任务管理界面选择「编辑」,如下图所示:

进入编辑界面后,拖入维度表输入算子,选择数据源和数据表,如下图所示:


点击「数据预览」即可看到取出的数据,如下图所示:

3.2 设置实时数据源输入

拖入实时数据源输入算子,比如 CDC 输入,选择数据源和数据表、读取方式、同步类型,如下图所示:

注:CDC输入详情参见:CDC输入

3.3 数据关联

新增「数据关联」算子,设置关联关系和关联字段,如下图所示:

预览数据,即可看到关联后的数据表,如下图所示:

3.4 数据输出

设置数据实时计算后输出至指定的数据库中,如下图所示:

DB表输出设置详情参见:DB表输出(实时任务)

3.4 任务启动和管理

点击启动,即可启动实时任务,如下图所示:


同时在任务管理界面看到任务运行状态,如下图所示:

3.5 效果查看

在日志中即可看到首次同步运行情况。