注:数据开发中实时任务当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.1.13.4 | - |
1.2 应用场景
希望读取实时输入源后,跨数据库表关联后实时入库。
1.3 功能简介
FineDataLink 「实时任务」支持使用「维度表输入」算子与「实时数据源」使用「数据关联」后实时落库。
2. 功能说明
2.1 维度表输入
配置项 | 说明 |
---|---|
数据连接 | 创建并管理数据源之后即可选择对应数据连接 支持定时任务DB表输入中支持的数据库:详情参见:定时任务支持的数据源范围(基础数据源+进阶数据源-大数据) |
来源表 | 选择数据库、数据表 |
维度表输入不可以作为独立的输入算子进行输出,维度表输入后必须接数据关联算子,且关联算子必须包含一个实时数据源。
2.2 数据关联
配置项 | 说明 |
---|---|
连接 |
|
左表 当实时数据源和维度表输入关联时,实时数据源必须是左表 当有超过2张表进行关联时,必须从实时数据源为左表开始关联其他维度表 | |
连接方式:左连接、右连接、内连接、全外连接
| |
右表
| |
连接字段
| |
数据预览 |
|
关联方式支持四种,与定时任务数据关联相同,详情参见:数据关联功能简介
3. 操作步骤
例如用户希望实现实时跨数据库关联后入库。
3.1 设置维度表输入
进入 FineDataLink 数据平台后,选择「数据开发>实时任务」,新建实时任务,如下图所示:
在任务管理界面选择「编辑」,如下图所示:
进入编辑界面后,拖入维度表输入算子,选择数据源和数据表,如下图所示:
点击「数据预览」即可看到取出的数据,如下图所示:
3.2 设置实时数据源输入
拖入实时数据源输入算子,比如 CDC 输入,选择数据源和数据表、读取方式、同步类型,如下图所示:
注:CDC输入详情参见:CDC输入
3.3 数据关联
新增「数据关联」算子,设置关联关系和关联字段,如下图所示:
预览数据,即可看到关联后的数据表,如下图所示:
3.4 数据输出
设置数据实时计算后输出至指定的数据库中,如下图所示:
DB表输出设置详情参见:DB表输出(实时任务)
3.4 任务启动和管理
点击启动,即可启动实时任务,如下图所示:
同时在任务管理界面看到任务运行状态,如下图所示:
3.5 效果查看
在日志中即可看到首次同步运行情况。