历史版本4 :配置Amazon Redshift数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能变动
4.0.28-

1.2 应用场景

Amazon Redshift 是 AWS 提供的 MPP 架构数仓产品,用户需要 FineDataLink  在管道写入端和定时任务读写端对接这款数据库,支撑组合方案落地。

1.3 功能说明

FineDataLink 支持连接 Amazon Redshift ,进行定时任务读写管道任务写入(作为写入端支持基于COPY实现高速装载和JDBC普通装载两种方式)。

本文介绍如何连接Amazon Redshift 。

2. 准备工作编辑

2.1 版本和驱动

驱动包下载驱动

用户可自行在amazon下载驱动

com.amazon.redshift.jdbc.Driver 

注:支持预置集群版本和Serverless版本。

2.2 收集连接信息

在连接数据库之前,请收集以下信息:

  • 数据库所在服务器的终端地址和端口号;

  • 数据库的用户名和密码;

  • 需要连接的数据库模式;

若用户需要使用数据源作为写入端,且希望实现支持基于 S3的 COPY实现高速装载,由于向 S3上传文件的过程中,需要AWS的认证信息,因此需要准备相关认证信息。

详情参见本文第四节。

3. 普通读写数据源接入方式编辑

1)以管理员身份登录 FineDataLink ,点击「管理系统>数据连接>数据连接管理」,点击「新建数据连接」如下图所示:

注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接权限

2)找到 Amazon Redshift 图标,如下图所示:

3)驱动切换为「自定义」选择 2.1 节上传的驱动(上传驱动方法参见:驱动管理),然后输入 2.2 节的连接信息。

注:用户可以选择性修改高级设置,详细请参见 配置数据连接 4.3 节

4)点击「点击连接数据库」,连接成功后保存该数据连接,如下图所示:


4. 写入端高速装载接入方式编辑

在使用该数据源作为写入端时,支持高速装载,利用到基于 S3 的COPY方案,向S3上传文件的过程中,因此需要AWS 的认证信息,配置项如下图所示:

凭证读取方式选择「使用环境内默认凭证」:

配置项是否必填
说明
凭证读取方式:使用环境内默认凭证必填

使用环境内的证书配置,此时使用SDK调用上传操作时,直接使用standard方式即可,使用默认凭证提供程序链

环境内的配置方式参见:设置AWS临时证书并AWS 区域用于开

区域

必填填写S3存储桶所在的AWS云区域代码,如「cn-northwest-1」、「cn-north-1」。
存储桶名称必填填写S3存储桶名称。
临时文件写入目录非必填,默认为空

填写临时文件的写入目录。

选项为空时,将使用存储桶的根目录。

凭证读取方式选择「手动指定凭证」:

配置项是否必填说明
凭证读取方式:手动指定凭证必填

将允许用户手动指定证书配置

此时使用SDK调用上传操作时,需要新建 BasicSessionCredentials,然后在初始化S3客户端时使用手动指定的认证。

AccessKeyID必填手动指定 IAM 认证信息的 AWS_ACCESS_KEY_ID项。
SecretAccessKey必填手动指定IAM认证信息的AWS_SECRET_ACCESS_KEY项。

区域

必填填写S3存储桶所在的AWS云区域代码,如「cn-northwest-1」、「cn-north-1」。
存储桶名称必填填写S3存储桶名称。
临时文件写入目录非必填,默认为空

填写临时文件的写入目录。

选项为空时,将使用存储桶的根目录。

注1:IAM认证相关资料:向... 提供临时证书 AWS SDK for Java管理 IAM 用户的访问密钥

注2:AWS控制台页面中,只能看到AccessKeyID,SecretAccessKey 仅在创建 AccessKey 的时候可以看到。

5. 使用数据源编辑

配置好数据源后即可在「定时任务」中将数据源作为读取和写入端。

  • 作为来源端:

  • 作为写入端:如果配置了本文第四节的高速装载,则可以在写入方式中选择是否启用高速装载,如下图所示:

  • 在「管道任务」中将数据源作为写入端。如果配置了本文第四节的高速装载,则可以选择是否启用高速装载,如下图所示: