数据关联

1.1 版本

1.2 应用场景

用户两张数据表在不同的数据库中，希望能够将两张不同来源库的表进行关联生成新表。

1.3 功能简介

「数据关联」算子可实现多表跨库关联的场景。

关联方式支持四种。分别如下：

1）左连接（LEFT JOIN）：也称为左合并。

以左边的表为基础，将右边的表中与之匹配的数据行加入结果集，如果右边的表中没有匹配的数据，则用 null 填充相应的列。

2）右连接（RIGHT JOIN）：也称为右合并。

以右边的表为基础，将左边的表中与之匹配的数据行加入结果集，如果左边的表中没有匹配的数据，则用 null 填充相应的列。

3）内连接（INNER JOIN）：取交集。

4）全外连接（FULL OUTER JOIN）：取并集。

2.1 准备待关联表数据

「数据关联」算子支持多表跨库关联。用户可准备 2 张及以上表数据，进行关联操作。

本文示例中，准备两张表数据，进行关联。

示例表数据下载：english.xls、math.xls

1）英语成绩表 english 数据如下图所示：

2）数学成绩表 math 数据如下图所示：

现希望将 english 表左关联 math 表。

2.2 读取待关联表数据

2.2.1 步骤

1）新建定时任务，拖入「数据转换」节点，进入「数据转换」节点。

2）拖入「DB表输入」算子，读取 english 表数据。如下图所示：

3）可为该算子设置备注，备注读取的哪张表数据，便于之后任务运维与查看。如下图所示：

4）同理，再拖入一个「DB表输入」算子，读取 math 表数据，并备注读取的哪张表数据。如下图所示：

2.2.2 注意点

「DB表输入」算子中，默认抽取前 5000 行表数据进行后续计算；因此，后续的「数据关联」算子中关联表数据时，只会取前 5000 行数据进行关联。导致用户在「数据关联」算子中查看关联效果时，可能出现关联效果不准确的问题。但任务实际运行时，是会使用全量数据做关联操作的。

若用户希望在「数据关联」算子中查看关联效果时，结果准确，可在「DB表输入」算子的「样本设置」按钮中，读取全量数据。

详情请参见：数据开发数据量说明

2.3 设置关联

1）拖入「数据关联」算子，连接方式选择左连接，连接字段选择姓名。如下图所示：

需注意：

• 若关联两张表数据，左表、右表均为可选项；若关联两张以上表数据，从第二次关联开始，左表不再是可选项，而是默认为上一步的连接结果，右表始终为可选项。

• 可以选择多个「连接字段」，多个「连接字段」为且的关系。

• 遇到同名字段，字段名后缀自动加1，格式为：column1、column2、column3。

• 若连接方式选择左连接/右连接时，请确认好左表和右表是否正确（A表左关联B表，与B表左关联A表，关联逻辑是不同的）。

2）点击「数据预览」，效果如下图所示：

需注意：

用户若想删除姓名1列，可在数据输出时，取消姓名1列的映射（参考本文 2.4 节内容）；或者后接一个「字段设置」算子（该算子也支持修改字段类型），删除姓名1列。

2.4 输出数据

1）拖入「DB表输出」算子，将关联后的数据输出，取消姓名1列的映射。如下图所示：

2）写入方式选择「追加写入数据」。

2.5 效果查看

1）任务运行成功后，日志如下图所示：

数据库数据如下图所示：

2）点击「发布」按钮可将任务发布到 生产模式 。如下图所示：