反馈已提交

网络繁忙

维度表输入&数据关联

  • 文档创建者:Roxy
  • 历史版本:18
  • 最近更新:Richard.Guo 于 2025-08-29
  • icon提示:

    产品注册版本为「v5.0共创版」时,才能使用数据开发-实时任务:

    1) 如需申请免费试用或增购功能点,请填写链接:实时任务意向使用申请表

    2) 如需了解更多实时任务详细信息,可联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    5.0.0.1-
    5.0.1.4关联字段类型(数值、文本、日期时间、布尔)需要保持一致
    5.0.1.5实时任务中若使用 WebSocket输入MQTT输入IBM MQ输入Pulsar输入,不能再使用数据关联(多个实时数据源进行关联)

    1.2 应用场景

    希望读取实时输入源后,跨数据库表关联后实时入库。

    1.3 功能简介

    场景
    说明备注
    使用多个或一个「维度表输入」算子与一个「实时数据源」关联后实时落库

    维度表的变化不会实时改变目标表的数据,只有当实时数据源中的表发生变化并且关联最新维度表数据后才能更

    实时数据源必须是左表
    个实时数据源进行关联


    若关联数据为多个实时数据源和 N 个维度表:

    维度表的变化不会实时改变目标表的数据,只有当实时数据源中的表发生变化并且关联最新维度表数据后才能更新

    4.2.6.4 及之后版本支持

    需要配置 Flink 引擎

    实时数据源必须是左表

    若关联数据都为实时数据源:

    左右两表的数据变化都会更新到目标表中

    2. 功能说明

    2.1 维度表输入

    13.png

    配置项说明
    数据连接

    创建并管理数据源之后即可选择对应数据连接

    支持的数据源:定时任务支持的数据源范围(基础数据源+进阶数据源-大数据)

    配置方式4.2.6.4 及之后版本,支持 SQL、选表两种方

    SQL、选表的使用与定时任务中相同,详情请参见:配置方式

    维度表输入不可以作为独立的输入算子进行输出,维度表输入后必须接数据关联算子且关联算子必须包含一个实时数据源

    2.2 数据关联

    14.png

    数据关联的前置算子中,默认取前 5000 条数据进行关联,导致用户在「数据关联」算子中查看关联效果时,可能出现关联效果不准确的问题;用户可在前置算子中修改样本设置为全量数据。如下图所示:

    任务实际运行时,是会使用全量数据做关联操作的。


    点击展开更多
    33.png

    2.2.1 4.2.6.4 之前版本

    配置项说明
    连接逻辑
    • 不支持两个实时数据源进行关联

    • 不支持两个维度表输入进行关联

    • 只支持实时数据源和 1 个或多个维度表输入进行关联

    左表

    当实时数据源和维度表输入关联时,实时数据源必须是左表

    当有超过2张表进行关联时,必须从实时数据源为左表开始关联其他维度表

    连接方式

    连接方式:左连接、右连接、内连接、全外连接,详情参见:数据关联功能简介

    • 当实时数据源和维度表关联时,只支持左连接、内连接

    右表

    右表只能是维度表

    连接字段

    连接字段

    • 一个关联配置中可以设置多关联字段

    • 可以选择任意左表的字段

    数据预览
    • 如果是实时数据源和维度表输入进行join,按照实时数据源的样本设置和算子配置进行数据预览

    2.2.2 4.2.6.4 及之后版本

    注:若数据关联前的输入算子包含多个实时数据源,需要配置 Flink 引擎

    注2:5.0.1.5 及之后版本,实时任务中若使用 WebSocket输入MQTT输入IBM MQ输入Pulsar输入,不能再使用数据关联(多个实时数据源进行关联)。

    配置项说明
    连接逻辑
    • 支持多个实时数据源进行关联

    • 不支持只有两个维度表进行关联

    左表

    当实时数据源和维度表输入关联时,实时数据源必须是左表

    连接方式

    连接方式:左连接、右连接、内连接、全外连接,详情参见:数据关联功能简介

    • 当实时数据源和维度表关联时,只支持左连接、内连接

    • 数据关联前的输入算子都为实时数据源时,支持左连接、右连接、内连接、全外连接

    右表

    右表可以选择维度表、实时数据源

    连接字段
    • 一个关联配置中可以设置多关联字段

    • 可以选择任意左表的字段

    注:5.0.1.4 及之后版本,关联字段类型(数值、文本、日期时间、布尔)需要保持一致,否则给出报错提示

    数据预览

    按照实时数据源的样本设置和算子配置进行数据预览

    若左表和右表都为实时数据源,建议同步类型一致;否则:

    场景

    当左表选择存量+增量同步,右表选择增量同步时:

    • 左表的数据会关联不到右表,目标表右表的字段会为空

    • 只有当右表对应的数据产生变更后,才会关联上

    当左表选择增量同步,右表选择存量+增量同步时:
    • 目标表的数据会没有数据

    • 只有当左表有数据发生变更后,才会关联上右表的数据

    3. 操作步骤

    例如用户希望实现实时跨数据库关联后入库。

    3.1 准备工作

    参考 实时任务使用流程,配置数据连接、缓存、数据库环境。

    3.2 设置维度表输入

    1)进入 FineDataLink 数据平台后,点击「数据开发>实时任务」,新建实时任务。如下图所示:

    2.png

    2)进入编辑界面后,拖入「维度表输入」算子,选择数据源和数据表。如下图所示:

    3.png

    点击「数据预览」即可看到取出的数据。如下图所示:

    6.png

    3.3 设置实时数据源输入

    拖入实时数据源输入算子,比如 CDC 输入,选择数据源和数据表、读取方式、同步类型。如下图所示:

    注:CDC输入详情参见:CDC输入

    7.png

    3.4 数据关联

    新增「数据关联」算子,设置关联关系和关联字段。如下图所示:

    8.png

    预览数据,即可看到关联后的数据表。如下图所示:

    1748312973415503.png

    3.5 数据输出

    设置数据实时计算后输出至指定的数据库中。如下图所示:

    DB表输出设置详情参见:DB表输出(实时任务)

    10.png

    3.6 任务启动和管理

    点击「启动,即可启动实时任务。如下图所示:

    11.png

    同时在任务管理界面看到任务运行状态。如下图所示:

    12.png




    附件列表


    主题: 数据开发-实时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持