历史版本8 :配置Amazon S3数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

 FineDataLink 版本功能变动
4.1.13.2数据开发-定时任务支持读取和写入 Amazon S3 数据源
4.2.0.1统一用 S3 协议兼容目前已支持的全部文件存储系统

1.2 功能简介

FDL 中支持配置 Amazon S3 数据源的数据连接。

数据开发-定时任务中可使用该数据连接，在阿里云 OSS，华为云OBS，亚马逊 S3，MinIO 等兼容 S3 协议的对象存储中进行读取和写入。

2. 配置数据连接编辑

2.1 前提条件

详情请参见：前提条件

2.2 收集连接信息

在连接数据源之前，请收集以下信息：

  • 访问域名：用于访问 Amazon S3 服务的 URL 或域名（必填）。

  • 文件储存服务的地理区域（如果「访问域名」包含存储区域，则此处不需要填写）。

  • 凭证读取方式。

2.3 具体连接步骤

创建数据连接步骤请参见：创建并管理数据源

设置项说明：

35.png

各设置项介绍如下表所示：

设置项
说明
访问域名（Endpoint）

必填

  • 用于访问 Amazon S3 服务的 URL 或域名。它是 Amazon S3 服务的入口点，用于接收和处理来自客户端的请求

  • 不同的 Region 有不同的 Endpoint 。因此，选择将数据写入到特定的 Region 时，需要使用与该 Region 关联的 Endpoint

区域（Region）

非必填（如果 Endpoint 包含存储区域，则此处不需要填写）

  • 文件储存服务的地理区域。不同的 Region 可能位于不同的数据中心，因此它们之间的数据访问速度和延迟可能会有所不同

  • 在创建 Amazon S3 的存储桶（Bucket）时，需要指定一个 Region。一旦 Bucket 被创建并指定了 Region，它的数据就会存储在该 Region 的服务器上
    这意味着数据将存储在指定的地理区域内，从而可以提高数据访问的速度和效率

凭证读取方式

可选择：手动指定凭证、使用 AWS 环境内默认凭证

1）手动指定凭证：将允许用户手动指定证书配置

2）使用AWS环境内默认凭证说明：将使用环境内的证书配置：设置AWS临时证书并AWS 区域用于开发

注：使用 Amazon S3 兼容读取 OSS、OBS、COS 时，选择「使用AWS环境内默认凭证」时将无法正常连接，会报错

AccessKeyID

「凭证读取方式」为「手动指定凭证」时有该设置项

所选择的文件存储厂商账号的访问凭证之一，用于验证身份和授权访问存储桶（Bucket）中的对象

SecretAccessKey

「凭证读取方式」为「手动指定凭证」时有该设置项

所选择的文件存储厂商账号的访问凭证之一，用于验证身份和授权访问存储桶（Bucket）中的对象

编码

支持选择：GBK、BIG5、ISO-8859-1、UTF-8、UTF-16、EUC_JP、EUC_KR、CP850

3. 使用数据源编辑

3.1 定时任务

Amazon S3 数据源归类于「文件输入」分类中：

1729078018883210.png

3.1.1 读取 Amazon S3 数据

1）「全局赋值参数」、「数据同步」、「参数赋值」、「数据转换-文件输入」的数据来源新增：Amazon S3。如下图所示：

注：各设置项说明请参见：文件输入功能说明；读取文件夹时，不支持「文件筛选」功能。

37.png

2）「文件传输」的文件来源新增：Amazon S3。如下图所示：

注：各设置项说明请参见：文件传输功能说明

1729078103247523.png


3.1.2 写入 Amazon S3

1）「数据同步」、「数据转换-文件输出」的数据去向新增：Amazon S3。如下图所示：

文件重名策略支持：文件重名，停止写入并报错；文件重名，覆盖目标文件数据。

注：各设置项说明请参见：文件输出算子功能说明

40.png

2）「文件传输」的文件去向配置：

文件重名策略支持：文件重名，停止写入并报错；文件重名，覆盖目标文件数据。

注：各设置项说明请参见：文件传输功能说明

1729078497652837.png