历史版本13 :配置SeaboxMPP数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能变动
4.0.28数据管道任务中支持写入至 SeaboxMPP 数据库
4.1.5.5定时任务中支持读取和写入 SeaboxMPP 数据库

1.2 功能简介

FineDataLink 支持连接 SeaboxMPP ,进行管道任务写入、定时任务读写。

2. 准备工作编辑

2.1 版本和驱动

下载驱动,并将其上传至 FineDataLink ,如何上传可参见:驱动管理 第 2 节。

支持的数据库版本
驱动下载

SeaboxMPP 21.0.3.398

postgresql-42.1.4.jar

2.2 收集连接信息

在连接数据库之前,请收集以下信息:

  • 数据库所在服务器的 IP 地址和端口号。

  • 数据库的用户名和密码。

3. 具体连接步骤编辑

1)以管理员身份登录 FineDataLink ,点击「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,如下图所示:

注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接权限

49.png

2)找到 SeaboxMPP 图标,如下图所示:

50.png

3)进入数据连接配置页面,输入 2.2 节连接的相关信息,如下图所示:

注:用户可修改连接池设置,详细请参见 连接池设置

53.png

4)测试连接成功后,点击「保存」保存该数据连接。

52.png

4. 使用数据源编辑

4.1 管道任务

4.0.28 及之后版本,数据管道任务中支持写入至 SeaboxMPP 数据库。管道任务配置请参见:数据管道概述

4.2 定时任务

4.1.5.5 及之后版本,定时任务中支持读取和写入 SeaboxMPP 数据库。

写入 SeaboxMPP 数据库时,装载方式可选择 COPY 装载和普通装载。如下图所示:

1709171684185438.png

装载方式说明
普通装载

默认为普通装

以 JDBC 做串行装载

COPY装载

使用前提:

如选择 COPY 装载方式,需要确保目标数据库和用户满足以下条件:

  • 需要在目标数据库先创建 fdl_temp 模式用来存放临时表

  • 需要用户有建表、建指定模式的权限(如果已由 DBA 建好模式并赋权,数据库用户可不需要建schema的权限

运行原理:

选择 COPY 装载方式时,根据写入方式的不同,会出现不同的装载效果

写入方式说明

直接将数据写入目标表

目标表无主键且未配置「主键映射」

使用 COPY 装载方式

直接将数据写入目标表

目标表有主键或配置了「主键映射」

支持三种主键冲突策略:

  • 主键相同,忽略输入源的数据

  • 主键相同,记录为脏数据

  • 主键相同,覆盖目标表的数据

采用COPY装载方式+普通装载方式

  • 每批数据优先尝试使用「COPY装载方式」写入

  • COPY 装载方式失败后,会再尝试将该批数据使用「普通装载」写入

清空目标表,再写入数据

采用COPY装载方式+普通装载方

  • 每批数据优先尝试使用「COPY装载方式」写入

  • COPY 装载方式失败后,会再尝试将该批数据使用「普通装载」写入

基于标识字段,追加/更新/删除数据