Greenplum数据源介绍

1.1 版本

1.2 应用场景

用户在 ETL 任务中，需要将业务库数据抽取至 Greenplum 数据库进行分析，在相对小的时间窗口内完成大数据量的数据装载。

1.3 功能简介

数据源类型和数据输出适配 Greenplum、Greenplum（并行装载）数据库，Greenplum 作为输出库时，支持并行装载以提升数据装载速度。

2.1 使用并行装载前的准备工作

1）Greenplum（并行装载）支持的版本为：5.X 和 6.X 。

2）使用并行装载前的准备工作：

Linux系统：gpfdist_linux.tar.gz

将该压缩包上传到 Linux 服务器上：

• 解压到：%FR_HOME%\webapps\webroot\WEB-INF下

• 将 bin 文件夹中的 gpfdist 文件与 lib 文件夹放在同一层级上，删除 bin 文件夹。

• 将 gpfdist_linux 文件夹名称修改为 gpfdist 。

最终效果如下图所示：

Windows 系统：可联系技术支持获取包。技术支持联系方式：QQ「800049425」、电话「400-811-8890」

3）Windows 下 gpfdist 需要基于源码再自行编译 gpfdist.exe 才能使用（Linux 已编译）。在 Win 版本中，暂不随安装包集成 gpfdist 相关组件，Linux 版本随安装包集成。

4）最大单行数据大小支持 1M（Win最大支持值），不允许修改。

2.2 Greenplum（并行装载）数据连接类型

数据连接 处可以新增 Greenplum（并行装载）数据连接类型。

其中 Greenplum 数据连接请参见：[平台]Pivotal Greenplum Database数据连接 。Greenplum（并行装载）与 Greenplum 数据连接的区别如下图所示：

2.3 数据输入适配

数据输入适配 Greenplum、Greenplum（并行装载）数据库。

示例：「数据同步>数据来源>数据源类型」中可选择 Greenplum、Greenplum（并行装载）。如下图所示：

2.4 数据输出适配

数据输出适配 Greenplum、Greenplum（并行装载）数据库。

1）示例：

「数据转换>DB表输出>数据去向>数据源类型」中可选择 Greenplum、Greenplum（并行装载）。如下图所示：

2）选择 Greenplum（并行装载）数据库说明

其中，选择 Greenplum（并行装载）时，界面如下图所示：

说明如下所示：

1）若不勾选「启用并行装载」，将以 jdbc 做串行装载。

2）若勾选「启用并行装载」，将以 gpfdist 协议做并行装载，更新策略覆盖为：比对字段遇相同值，覆盖目标表的数据

3）并行装载方式分为插入、合并。

插入：直接向目标表 INSERT ；合并：比对字段遇相同值时，做更新，否则做插入。

• 写入方式为「清空目标表再写入数据」时，装载方式固定为「插入」。
  

• 写入方式为「直接将数据写入目标表」时，如果选择了比对字段，装载策略为「合并」；未选择比对字段时，装载策略为「插入」。

4）gpfdist 默认使用 15500 端口。

5）二进制类型字段不支持在勾选「启用并行装载」的时候同步。