1. 概述
1.1 版本
| DataAgent版本 | 功能变更 |
|---|---|
| V1.3 | - |
1.2 应用场景
手动搭建本地 HDFS 文件系统，对于用户的运维能力要求过高，但用户又希望使用高可用的 AI 文件服务器。
支持的云存储文件系统包括：阿里云OSS、华为云OBS 、亚马逊云S3。其他自行搭建的 S3 平台不确保支持。
1.3 功能简介
本文主要讲解 DataAgent 集群与华为云对象存储 OBS 的对接：
用户需要自行购买并准备华为云对象存储 OBS
在项目部署好后，可将集群项目与该云存储系统对接
2. 准备华为云OBS
用户需要自行购买并准备华为云对象存储 OBS。
帆软不提供相关资料和指导，仅对必要内容进行指明，请查阅华为云官网获取其他帮助。请参见：华为云对象存储OBS
| 1 | 创建华为云超管 | 如已有华为云企业超管账号，可忽略本步骤 1）注册华为账号 请参考华为云文档完成：注册华为账号并开通华为云 2）实名认证 请参考华为云文档完成：个人账号如何完成实名认证 或 企业账号如何完成实名认证 3）为华为账号充值 请确保你的华为账号有足够的余额，才能正常使用 OBS 等相关资源 请参考华为云文档完成：账户充值 |
| 2 | 创建华为云IAM用户和访问密钥 | 华为云企业超管账号下，一般有企业内的多种资源 超管可以创建一个IAM用户，用于分配对应OBS权限，和帆软集群对接 1）创建IAM用户 管理员登录IAM控制台，选择「用户>创建用户」，设置IAM用户名 请务必勾选「访问密钥」凭证，以生成AccessKeyId和AccessKeySecret 请参考华为云文档完成：创建IAM用户
2）保存访问密钥文件 创建成功后，请务必妥善保管生成的访问密钥文件 credentials.csv，其中包含该 IAM 用户的 Access Key Id 和 Secret Access Key，下文需要用到 请参考华为云文档完成：管理IAM用户访问密钥
3）分配权限 请为该用户或用户所在的用户组，分配 OBS Administrator权限：对象存储服务管理员权限 请参考华为云文档完成：创建用户组并授权
|
| 3 | 创建桶和文件目录 | 1）创建桶 登录华为云OBS控制台，创建桶 请参考华为云文档完成：创建桶 示例桶名称：fanruan-dora-obs-test
2）新建文件夹 点击进入创建好的桶，在「对象」中新建文件夹，用于存储工程文件和工程备份文件。请参考华为云文档完成：新建文件夹 示例文件夹：fanruan
3）点击进入上一节创建的目录，新建子目录，推荐命名为 dora ，用于存储工程文件
|
3. 准备华为云OBS信息
| 配置项 | 说明 |
|---|---|
| 协议 | S3 |
Bucket Endpoint Region | 配置项说明： Bucket：桶，用于存储对象的容器 Endpoint：OBS对外服务的访问域名 Region：OBS的数据中心所在物理位置。注意不包含前缀的Bucket，例如示例的Region最终值为：obs-cn-east-3.huaweicloud.com 获取方式： 1）登录华为云对象存储OBS管理控制台 2）点击桶列表，桶名称即为 Bucket 3）点击桶，进入「概览」界面，在域名信息中，可以看到 Endpoint 和 Region
|
AccessKeyId AccessKeySecret | 配置项说明： AccessKey是华为云提供给用户的永久访问凭据
获取方式： 推荐新建 IAM 用户并创建访问密钥，即上文创建 IAM 用户时生成的访问密钥文件 credentials.csv 其中包含该IAM用户的 Access Key Id（即帆软所需的AccessKeyId）和 Secret Access Key（帆软所需的 AccessKeySecret ） 如果遗失这个 AccessKey，请参考华为云文档重新创建：管理IAM用户访问密钥 |
| 路径 | 文件服务的根目录名称，即存储工程文件的目录完整地址 本示例为 fanruan/dora/ 注： 1）「路径」必须以「/」结尾，开头不能加「/」。 2）「路径」不能是相对路径。 |
PathStyleAccess | 访问OBS存储桶时，URL的路径结构，一般情况下无需配置
|
| signerOverride | 允许用户指定请求签名的算法或版本，一般情况下无需配置 如集群对接 OBS 时，出现证书或 unknownhost 相关报错，可调整为 S3SignerType |
4. 接入AI文件服务
4.1 部署新项目时接入
在「部署新项目-项目设置」时，可接入自备的华为云对象存储 OBS 作为 AI 文件服务器。
1）当部署多应用集群项目时，勾选「AI」部署模块，AI文件服务支持选择「对接已有服务」。
2）下拉页面，在「AI文件服务」中输入第三章准备的相关信息。
3）点击「测试连接」，提示「测试连接成功」，即代表可正常对接。
4.2 添加新AI组件时接入
在「添加组件」时，可接入自备的华为云对象存储 OBS 作为 AI 文件服务器。
1）管理员选择对应项目，进入「维护>组件管理」
2）点击「添加组件>业务组件」，选择「AI」组件
3）在 AI 文件服务中，选择「对接已有文件服务（S3）」
4）输入第三章准备的相关信息，点击「保存」，提示「连接成功」，即代表可正常对接
4.3 修改AI文件服务
在项目部署成功后，可通过运维平台的「集群管理」，为 DataAgent 接入华为云对象存储 OBS 作为文件服务。
1）管理员登录运维平台，选中指定项目。
2）点击「维护>集群管理」，对「AI 文件服务器」进行配置。
3）输入第三章准备的相关信息。
4）点击「保存」，提示「连接成功」，即代表可正常对接。