历史版本17 :配置Amazon Redshift数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能变动
4.0.28-
4.1.11.4实时任务写入适配

1.2 应用场景

Amazon Redshift 是 AWS 提供的 MPP 架构数仓产品,用户需要 FineDataLink  在管道写入端和定时任务读写端对接这款数据库,支撑组合方案落地。

1.3 功能说明

FineDataLink 支持连接 Amazon Redshift ,进行定时任务读写管道任务写入、实时任务写入作为写入端支持基于 COPY 实现高速装载和 JDBC 普通装载两种方式)。

本文介绍如何连接 Amazon Redshift 。

2. 约束限制编辑

Amazon Redshift 数据库中有参数 describe_field_name_in_uppercase 控制大小写,因此 通用配置 对其不生效。参数值默认 off ,即默认全小写。详情请参见:具体说明

3. 新建数据连接编辑

3.1 前提条件

详情请参见:前提条件

3.2 版本和驱动

驱动包下载驱动

用户可自行在amazon下载驱动

com.amazon.redshift.jdbc.Driver 

注:支持预置集群版本和 Serverless 版本。

3.3 收集连接信息

在连接数据库之前,请收集以下信息:

  • 数据库所在服务器的终端地址和端口号。

  • 数据库的用户名和密码。

  • 需要连接的数据库模式。

若用户需要使用数据源作为写入端,且希望实现支持基于 S3的 COPY实现高速装载,由于向 S3上传文件的过程中,需要 AWS 的认证信息,因此需要准备相关认证信息,详情请参见本文 3.5 节内容。

3.4 场景一:普通读写数据源接入方式

创建数据连接步骤请参见:创建并管理数据源

配置数据连接时,驱动需要切换为「自定义」,换为本文 3.2 节的驱动

3.5 场景二:写入端高速装载接入方式

icon提示:

Amazon Redshift 需要能够访问 FineDataLink 服务器的 22 端口。

若使用的是 Amazon Redshift 集群,则公钥要添加到 FineDataLink 服务器上,参见文档 加载数据的过程 第1、2、3步。

创建数据连接步骤请参见:创建并管理数据源

需注意:

1)配置数据连接时,驱动需要切换为「自定义」,换为本文 3.2 节的驱动

2)在使用该数据源作为写入端时,支持高速装载,利用到基于 S3 的 COPY 方案,向 S3 上传文件的过程中,因此需要 AWS 的认证信息,配置项如下图所示:

27.png

凭证读取方式选择「使用环境内默认凭证」:

配置项是否必填
说明
凭证读取方式:使用环境内默认凭证必填

使用环境内的证书配置,此时使用 SDK 调用上传操作时,直接使用 standard 方式即可,使用默认凭证提供程序链

环境内的配置方式参见:设置AWS临时证书并AWS 区域用于开

区域

必填填写 S3 存储桶所在的 AWS 云区域代码,如「cn-northwest-1」、「cn-north-1
存储桶名称必填填写S3存储桶名称
临时文件写入目录非必填,默认为空

填写临时文件的写入目录

选项为空时,将使用存储桶的根目录

凭证读取方式选择「手动指定凭证」:

配置项是否必填说明
凭证读取方式:手动指定凭证必填

将允许用户手动指定证书配置

此时使用SDK调用上传操作时,需要新建 BasicSessionCredentials,然后在初始化S3客户端时使用手动指定的认证

AccessKeyID必填手动指定 IAM 认证信息的 AWS_ACCESS_KEY_ID项
SecretAccessKey必填手动指定 IAM 认证信息的 AWS_SECRET_ACCESS_KEY 项

区域

必填填写 S3 存储桶所在的 AWS 云区域代码,如「cn-northwest-1」、「cn-north-1」
存储桶名称必填填写 S3 存储桶名称
临时文件写入目录非必填,默认为空

填写临时文件的写入目录

选项为空时,将使用存储桶的根目录

不填写根目录,则写入默认在根目录下,如下图所示:

若填写,则在对应根目录下的文件,如填写chloe,则在根目录下的chloe文件夹内,如下图所示:

注1:IAM认证相关资料:向... 提供临时证书 AWS SDK for Java管理 IAM 用户的访问密钥

注2:AWS控制台页面中,只能看到AccessKeyID,SecretAccessKey 仅在创建 AccessKey 的时候可以看到。

注3:FineDataLink 内的临时文件启用高速装载后,临时文件写入 %FineDataLink%/...../web-inf/temp路径下。

4. 使用数据源编辑

4.1 数据开发-定时任务

配置好数据源后即可在「定时任务」中将数据源作为读取和写入端。

4.1.1 作为来源端

4.1.2 作为写入端

如果配置了本文 3.5 节的高速装载,则可以在写入方式中选择是否启用高速装载,如下图所示:

4.2 管道任务

在「管道任务」中将数据源作为写入端。如果配置了本文 3.5 节的高速装载,则可以选择是否启用高速装载,如下图所示:

4.3 数据开发-实时任务

配置好数据源后即可在「实时任务」中将使用数据源,详情参见:实时任务概述