1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.0.28 | - |
1.2 应用场景
Amazon Redshift 是 AWS 提供的 MPP 架构数仓产品,用户需要 FineDataLink 在管道写入端和定时任务读写端对接这款数据库,支撑组合方案落地。
1.3 功能说明
FineDataLink 支持连接 Amazon Redshift ,进行定时任务读写和管道任务写入(作为写入端支持基于COPY实现高速装载和JDBC普通装载两种方式)。
本文介绍如何连接Amazon Redshift 。
2. 准备工作编辑
2.1 版本和驱动
驱动包下载 | 驱动 |
---|---|
用户可自行在amazon下载驱动 | com.amazon.redshift.jdbc.Driver |
2.2 收集连接信息
在连接数据库之前,请收集以下信息:
数据库所在服务器的终端地址和端口号;
数据库的用户名和密码;
需要连接的数据库模式;
若用户需要使用数据源作为写入端,且希望实现支持基于 S3的 COPY实现高速装载,由于向 S3上传文件的过程中,需要AWS的认证信息,因此需要准备相关认证信息。
详情参见本文第四节。
3. 普通读写数据源接入方式编辑
1)以管理员身份登录 FineDataLink ,点击「管理系统>数据连接>数据连接管理」,点击「新建数据连接」,如下图所示:
注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接权限
2)找到 Amazon Redshift 图标,如下图所示:
3)驱动切换为「自定义」选择 2.1 节上传的驱动(上传驱动方法参见:驱动管理),然后输入 2.2 节的连接信息。
注:用户可以选择性修改高级设置,详细请参见 配置数据连接 4.3 节
4)点击「点击连接数据库」,连接成功后保存该数据连接,如下图所示:
4. 写入端高速装载接入方式编辑
在使用该数据源作为写入端时,支持高速装载,利用到基于 S3 的COPY方案,向S3上传文件的过程中,因此需要AWS 的认证信息,配置项如下图所示:
凭证读取方式选择「使用环境内默认凭证」:
配置项 | 是否必填 | 说明 |
---|---|---|
凭证读取方式:使用环境内默认凭证 | 必填 | 使用环境内的证书配置,此时使用SDK调用上传操作时,直接使用standard方式即可,使用默认凭证提供程序链。 环境内的配置方式参见:设置AWS临时证书并AWS 区域用于开发 |
区域 | 必填 | 填写S3存储桶所在的AWS云区域代码,如「cn-northwest-1」、「cn-north-1」。 |
存储桶名称 | 必填 | 填写S3存储桶名称。 |
临时文件写入目录 | 非必填,默认为空 | 填写临时文件的写入目录。 交互提示:选项为空时,将使用存储桶的根目录。 |
凭证读取方式选择「手动指定凭证」:
配置项 | 是否必填 | 说明 |
---|---|---|
凭证读取方式:手动指定凭证 | 必填 | 将允许用户手动指定证书配置 此时使用SDK调用上传操作时,需要新建BasicSessionCredentials,然后在初始化S3客户端时使用手动指定的认证。 |
AccessKeyID | 必填 | 手动指定IAM认证信息的AWS_ACCESS_KEY_ID项。 |
SecretAccessKey | 必填 | 手动指定IAM认证信息的AWS_SECRET_ACCESS_KEY项。 |
SessionToken | 必填 | 对应IAM认证信息的AWS_SESSION_TOKEN项。 目前判断不需要用户填写,因为数据连接往往是持久配置的,临时认证信息有效期一般都比较短,用户固定地填写在数据连接配置处没有意义。 研发协助确认一下,实际使用S3进行文件上传时,是否可以通过Amazon STS自动获取临时凭证使用,且不需要用户来填写临时凭证相关配置项。 |
区域 | 必填 | 填写S3存储桶所在的AWS云区域代码,如「cn-northwest-1」、「cn-north-1」。 |
存储桶名称 | 必填 | 填写S3存储桶名称。 |
临时文件写入目录 | 非必填,默认为空 | 填写临时文件的写入目录。 交互提示:选项为空时,将使用存储桶的根目录。 |
5. 使用数据源编辑
配置好数据源后即可在「定时任务」中将数据源作为读取和写入端。
作为来源端:
作为写入端:如果配置了本文第四节的高速装载,则可以在写入方式中选择是否启用高速装载,如下图所示:
在「管道任务」中将数据源作为写入端。如果配置了本文第四节的高速装载,则可以选择是否启用高速装载,如下图所示: