1. 概述
1.1 版本
| DataAgent版本 | 功能变更 |
|---|---|
| V1.3 | - |
1.2 应用场景
手动搭建本地 HDFS 文件系统,对于用户的运维能力要求过高,但用户又希望使用高可用的 AI 文件服务器。
支持的云存储文件系统包括:阿里云OSS、华为云OBS 、亚马逊云S3。其他自行搭建的 S3 平台不确保支持。
1.3 功能简介
本文主要讲解帆软集群与阿里云对象存储OSS的对接:
用户需要自行购买并准备阿里云对象存储OSS。
在 DataAgent 部署好后,可将 DataAgent 与该云存储系统对接。
2. 准备阿里云OSS
用户需要自行购买并准备阿里云对象存储OSS。
帆软不提供相关资料和指导,仅对必要内容进行指明,请查阅阿里云官网获取其他帮助。请参见:阿里云对象存储OSS
| 1 | 购买 | 自行购买阿里云对象存储OSS |
|---|---|---|
| 2 | 创建RAM用户和AccessKey | 1)登录阿里云RAM 访问控制 2)创建RAM用户 点击「身份管理>用户」,点击「创建用户」 务必勾选「OpenAPI 调用访问」,以生成AccessKeyId和AccessKeySecret
3)复制AccessKey信息 创建成功后,请务必记录下AccessKeyId和AccessKeySecret,下文需要用到 后续无法再次查询到对应Secret,只能重新新建
4)分配权限 勾选该用户,点击「新增授权」 为用户分配AliyunOSSFullAccess:管理对象存储服务(OSS)权限
|
| 3 | 创建存储空间和文件目录 | 1)登录阿里云对象存储OSS控制台 2)创建Bucket(存储空间)
3)点击进入Bucket,在「文件管理>文件列表」中新建目录 用于存储工程文件和工程备份文件 示例目录:fanruan
4)点击进入上一节创建的目录,新建子目录,推荐命名为 dora,用于存储工程文件
|
3. 准备阿里云OSS信息
| 配置项 | 说明 |
|---|---|
| 协议 | S3 |
Bucket Endpoint Region | 配置项说明: Bucket:存储空间,用于存储对象的容器 Endpoint:OSS对外服务的访问域名 Region:OSS的数据中心所在物理位置。注意不包含前缀的Bucket,例如示例的Region最终值为:oss-cn-beijing.aliyuncs.com 获取方式: 1)登录阿里云对象存储OSS控制台 2)点击「Bucket列表」,点击工程文件所在Bucket 3)点击「概览」,即可查看到相关信息
|
AccessKeyId AccessKeySecret | 配置项说明: AccessKey是阿里云提供给用户的永久访问凭据
获取方式: 推荐新建RAM用户并配置AccessKey(上文创建RAM用户时已记录相关信息) 如果遗失这个 AccessKey,只能创建新的来替代,如何创建:创建AccessKey |
| 路径 | 文件服务的根目录名称,即存储工程文件的目录完整地址 本示例为fanruan/dora/ 注: 1)「路径」必须以「/」结尾,开头不能加「/」。 2)「路径」不能是相对路径。 |
PathStyleAccess | 访问OSS存储桶时,URL的路径结构,一般情况下无需配置
|
| signerOverride | 允许用户指定请求签名的算法或版本,一般情况下无需配置 如集群对接OSS时,出现证书或unknownhost相关报错,可调整为S3SignerType |
4. 接入文件服务
4.1 部署新项目时接入
在「部署新项目-项目设置」时,可接入自备的阿里云对象存储 OSS作为 AI 文件服务器。
1)当部署多应用集群项目时,勾选「AI」部署模块,AI文件服务支持选择「对接已有服务」。
2)下拉页面,在「AI文件服务」中输入第三章准备的相关信息。
3)点击「测试连接」,提示「测试连接成功」,即代表可正常对接。

4.2 添加新AI组件时接入
在「添加组件」时,可接入自备的阿里云对象存储 OSS作为 AI 文件服务器。
1)管理员选择对应项目,进入「维护>组件管理」
2)点击「添加组件>业务组件」,选择「AI」组件
3)在 AI 文件服务中,选择「对接已有文件服务(S3)」
4)输入第三章准备的相关信息,点击「保存」,提示「连接成功」,即代表可正常对接

4.3 修改AI文件服务
在项目部署成功后,可通过运维平台的「集群管理」,为 DataAgent 接入阿里云对象存储 OSS 作为文件服务。
1)管理员登录运维平台,选中指定项目。
2)点击「维护>集群管理」,对「AI 文件服务器」进行配置。
3)输入第三章准备的相关信息。
4)点击「保存」,提示「连接成功」,即代表可正常对接。

