
产品注册版本为「v5.0共创版」时,才能使用数据开发-实时任务:
1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表
2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
5.0.0.1 | - |
5.0.1.4 | 关联字段类型(数值、文本、日期时间、布尔)需要保持一致 |
5.0.1.5 | 实时任务中若使用 WebSocket输入、MQTT输入、IBM MQ输入、Pulsar输入,不能再使用数据关联(多个实时数据源进行关联) |
1.2 应用场景
希望读取实时输入源后,跨数据库表关联后实时入库。
1.3 功能简介
场景 | 说明 | 备注 |
---|---|---|
使用多个或一个「维度表输入」算子与一个「实时数据源」关联后实时落库 | 维度表的变化不会实时改变目标表的数据,只有当实时数据源中的表发生变化并且关联最新维度表数据后才能更新 | 实时数据源必须是左表 |
多个实时数据源进行关联 | 若关联数据为多个实时数据源和 N 个维度表: 维度表的变化不会实时改变目标表的数据,只有当实时数据源中的表发生变化并且关联最新维度表数据后才能更新 | 4.2.6.4 及之后版本支持 需要配置 Flink 引擎 实时数据源必须是左表 |
若关联数据都为实时数据源: 左右两表的数据变化都会更新到目标表中 |
2. 功能说明
2.1 维度表输入
配置项 | 说明 |
---|---|
数据连接 | 创建并管理数据源之后即可选择对应数据连接 支持的数据源:定时任务支持的数据源范围(基础数据源+进阶数据源-大数据) |
配置方式 | 4.2.6.4 及之后版本,支持 SQL、选表两种方式 SQL、选表的使用与定时任务中相同,详情请参见:配置方式 |
维度表输入不可以作为独立的输入算子进行输出,维度表输入后必须接数据关联算子,且关联算子必须包含一个实时数据源。
2.2 数据关联
数据关联的前置算子中,默认取前 5000 条数据进行关联,导致用户在「数据关联」算子中查看关联效果时,可能出现关联效果不准确的问题;用户可在前置算子中修改样本设置为全量数据。如下图所示:
任务实际运行时,是会使用全量数据做关联操作的。
点击展开更多 |
![]() |
2.2.1 4.2.6.4 之前版本
配置项 | 说明 |
---|---|
连接逻辑 |
|
左表 | 当实时数据源和维度表输入关联时,实时数据源必须是左表 当有超过2张表进行关联时,必须从实时数据源为左表开始关联其他维度表 |
连接方式 | 连接方式:左连接、右连接、内连接、全外连接,详情参见:数据关联功能简介
|
右表 | 右表只能是维度表 |
连接字段 | 连接字段
|
数据预览 |
|
2.2.2 4.2.6.4 及之后版本
注:若数据关联前的输入算子包含多个实时数据源,需要配置 Flink 引擎
注2:5.0.1.5 及之后版本,实时任务中若使用 WebSocket输入、MQTT输入、IBM MQ输入、Pulsar输入,不能再使用数据关联(多个实时数据源进行关联)。
配置项 | 说明 |
---|---|
连接逻辑 |
|
左表 | 当实时数据源和维度表输入关联时,实时数据源必须是左表 |
连接方式 | 连接方式:左连接、右连接、内连接、全外连接,详情参见:数据关联功能简介
|
右表 | 右表可以选择维度表、实时数据源 |
连接字段 |
注:5.0.1.4 及之后版本,关联字段类型(数值、文本、日期时间、布尔)需要保持一致,否则给出报错提示 |
数据预览 | 按照实时数据源的样本设置和算子配置进行数据预览 |
若左表和右表都为实时数据源,建议同步类型一致;否则:
场景 |
---|
当左表选择存量+增量同步,右表选择增量同步时:
|
当左表选择增量同步,右表选择存量+增量同步时:
|
3. 操作步骤
例如用户希望实现实时跨数据库关联后入库。
3.1 准备工作
参考 实时任务使用流程,配置数据连接、缓存、数据库环境。
3.2 设置维度表输入
1)进入 FineDataLink 数据平台后,点击「数据开发>实时任务」,新建实时任务。如下图所示:
2)进入编辑界面后,拖入「维度表输入」算子,选择数据源和数据表。如下图所示:
点击「数据预览」即可看到取出的数据。如下图所示:
3.3 设置实时数据源输入
拖入实时数据源输入算子,比如 CDC 输入,选择数据源和数据表、读取方式、同步类型。如下图所示:
注:CDC输入详情参见:CDC输入
3.4 数据关联
新增「数据关联」算子,设置关联关系和关联字段。如下图所示:
预览数据,即可看到关联后的数据表。如下图所示:
3.5 数据输出
设置数据实时计算后输出至指定的数据库中。如下图所示:
DB表输出设置详情参见:DB表输出(实时任务)
3.6 任务启动和管理
点击「启动」,即可启动实时任务。如下图所示:
同时在任务管理界面看到任务运行状态。如下图所示: