1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.1.13.2 | 数据开发-定时任务支持读取和写入 Amazon S3 数据源 |
| 4.2.0.1 | 统一用 S3 协议兼容目前已支持的全部文件存储系统 |
1.2 功能简介
FDL 中支持配置 Amazon S3 数据源的数据连接。
数据开发-定时任务中可使用该数据连接，在阿里云 OSS，华为云OBS，亚马逊 S3，MinIO 等兼容 S3 协议的对象存储中进行读取和写入。
2. 准备工作
2.1 前提条件
详情请参见：前提条件
2.2 收集连接信息
在连接数据源之前，请收集以下信息：
访问域名：用于访问 Amazon S3 服务的 URL 或域名（必填）。
文件储存服务的地理区域（如果「访问域名」包含存储区域，则此处不需要填写）。
凭证读取方式。
3. 具体连接步骤
1）管理员登录 FDL 工程，点击「管理系统>数据连接>数据连接管理」，选中某个文件夹后，新建数据连接。如下图所示：
2）设置数据连接名称（可同时修改数据连接所在目录）。如下图所示：
3）可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示：
4）配置数据连接。如下图所示：
各设置项介绍如下表所示：
| 设置项 | 说明 |
|---|---|
| 访问域名（Endpoint） | 必填
|
| 区域（Region） | 非必填（如果 Endpoint 包含存储区域，则此处不需要填写）
|
| 凭证读取方式 | 可选择：手动指定凭证、使用 AWS 环境内默认凭证 1）手动指定凭证：将允许用户手动指定证书配置 2）使用AWS环境内默认凭证说明：将使用环境内的证书配置：设置AWS临时证书并AWS 区域用于开发 注：使用 Amazon S3 兼容读取 OSS、OBS、COS 时，选择「使用AWS环境内默认凭证」时将无法正常连接，会报错 |
| AccessKeyID | 「凭证读取方式」为「手动指定凭证」时有该设置项 所选择的文件存储厂商账号的访问凭证之一，用于验证身份和授权访问存储桶（Bucket）中的对象 |
| SecretAccessKey | 「凭证读取方式」为「手动指定凭证」时有该设置项 所选择的文件存储厂商账号的访问凭证之一，用于验证身份和授权访问存储桶（Bucket）中的对象 |
| 编码 | 支持选择：GBK、BIG5、ISO-8859-1、UTF-8、UTF-16、EUC_JP、EUC_KR、CP850 |
5）点击「测试连接」，若连接成功则「保存」该连接。如下图所示：
4. 使用数据源
4.1 定时任务
Amazon S3 数据源归类于「文件输入」分类中：
4.1.1 读取 Amazon S3 数据
1）「全局赋值参数」、「数据同步」、「参数赋值」、「数据转换-文件输入」的数据来源新增：Amazon S3。如下图所示：
注：各设置项说明请参见：文件输入功能说明；读取文件夹时，不支持「文件筛选」功能。
2）「文件传输」的文件来源新增：Amazon S3。如下图所示：
注：各设置项说明请参见：文件传输功能说明
4.1.2 写入 Amazon S3
1）「数据同步」、「数据转换-文件输出」的数据去向新增：Amazon S3。如下图所示：
文件重名策略支持：文件重名，停止写入并报错；文件重名，覆盖目标文件数据。
注：各设置项说明请参见：文件输出算子功能说明
2）「文件传输」的文件去向配置：
文件重名策略支持：文件重名，停止写入并报错；文件重名，覆盖目标文件数据。
注：各设置项说明请参见：文件传输功能说明
