最新历史版本 :项目对接华为云OBS实现数据存储服务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

运维平台版本
功能变更
V2.18.0-

1.2 应用场景

对于FineBI6.1项目,支持自备一个S3组件,用来存储FineBI中抽取的基础表和自助数据集数据。

帆软推荐用户自备支持 S3 协议的云存储文件系统作为文件服务器。

支持的云存储文件系统包括:阿里云OSS、华为云OBS 、亚马逊云S3。其他自行搭建的 S3 平台不确保支持。

1.3 功能简介

本文主要讲解FineBI6.1项目与华为云对象存储OBS的对接:

  • 用户需要自行购买并准备华为云对象存储OBS

  • 在部署新项目/项目部署好后,可将FineBI项目与该云存储系统对接,实现数据存储服务

2. 准备华为云OBS编辑

用户需要自行购买并准备华为云对象存储OBS。

帆软不提供相关资料和指导,仅对必要内容进行指明,请查阅华为云官网获取其他帮助。请参见:华为云对象存储OBS

注:对于集群文件服务和FineBI数据存储服务,不建议混用同一个对象存储,请至少准备2个完全独立的




1创建华为云超管

如已有华为云企业超管账号,可忽略本步骤

1)注册华为账号

请参考华为云文档完成:注册华为账号并开通华为云

2)实名认证

请参考华为云文档完成:个人账号如何完成实名认证 或 企业账号如何完成实名认证

3)为华为账号充值

请确保你的华为账号有足够的余额,才能正常使用OBS等相关资源

请参考华为云文档完成:账户充值

2创建华为云IAM用户访问密钥

华为云企业超管账号下,一般有企业内的多种资

超管可以创建一个IAM用户,用于分配对应OBS权限,和帆软集群对接

1)创建IAM用户

管理员登录IAM控制台选择「用户>创建用户」,设置IAM用户名

请务必勾选「访问密钥」凭证,以生成AccessKeyId和AccessKeySecret

请参考华为云文档完成:创建IAM用户

2)保存访问密钥文件

创建成功后,请务必妥善保管生成的访问密钥文件credentials.csv,其中包含该IAM用户的Access Key IdSecret Access Key,下文需要用到

请参考华为云文档完成:管理IAM用户访问密钥

3)分配权限

请为该用户或用户所在的用户组,分配OBS Administrator权限:对象存储服务管理员权限

请参考华为云文档完成:创建用户组并授权

3创建桶

登录华为云OBS控制台,创建桶

请参考华为云文档完成:创建桶

示例桶名称:bi-oss-test

注1:为确保系统稳定性,集群文件服务与 FineBI 数据存储服务需使用完全独立的存储空间,请分别配置两个独立的桶。

注2:FineBI 数据存储服务所使用的桶需保持纯净,请确保其中不存在任何冗余数据或无关文件。

3. 准备华为云OBS信息编辑

配置项
说明
协议S3

Bucket

Endpoint

配置项说明:

Bucket:,用于存储对象的容器

EndpointOBS对外服务的访问域名

获取方式:

1)登录华为云对象存储OBS管理控制台

2)点击桶列表,桶名称即为Bucket

3)点击桶,进入「概览」界面,在域名信息中,可以看到Endpoint

AccessKey

SecretKey

配置项说明:

AccessKey是华为云提供给用户的永久访问凭据

  • AccessKey:用于标识用户

  • SecretKey:是一个用于验证你拥有该AccessKey的密码

获取方式:

推荐新建IAM用户并创建访问密钥,即上文创建IAM用户时生成的访问密钥文件credentials.csv

其中包含该IAM用户的Access Key Id(即帆软所需的AccessKey)Secret Access Key(帆软所需的SecretKey

如果遗失这个 AccessKey,请参考华为云文档重新创建:管理IAM用户访问密钥

PathStyleAccess

访问OBS存储桶时,URL的路径结构,一般情况下无需配置

  • false:默认值,虚拟主机样式,存储桶名称为主机名的一部分,这种方式是华为云OBS的推荐访问方式,通常用于生产环境中

  • true:路径样式,存储桶名称为路径的一部分,如集群对接OBS时,出现证书或unknownhost相关报错,可调整为true

signerOverride

允许用户指定请求签名的算法或版本,一般情况下无需配

如集群对接OBS时,出现证书或unknownhost相关报错,可调整为S3SignerType

4. 项目接入数据存储编辑

支持在以下情况下接入华为云对象存储OBS作为 FineBI 数据存储服务,请根据情况自行选择,任选其一即可。

4.1 部署新项目时接入

4.1.1 接入数据存储服务

在「部署新项目-项目设置」时,可接入自备的华为云对象存储OBS作为FineBI数据存储服务。

此情况下,请确保准备的存储空间桶中内容为空,不存在任何数据,否则无法成功对接。

1)数据存储服务选择「对接已有数据存储服务」

2)在「数据存储服务」信息填写处第三章准备的华为云对象存储OBS信息

3)点击「测试连接」,提示「测试连接成功」,即代表可正常对接。

4.1.2 注意事项

建议在项目部署成功后,对数据存储组件的性能进行检测。性能检测不通过不影响对接,但建议进行优化,以确保FineBI工程运行的稳定性。

  • 管理员登录运维平台,选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。

  • 点击「存储性能检测」,根据提示优化所准备的数据存储服务的性能。

4.2 部署成功后切换

项目部署成功后,在运维平台的「集群管理」中,可为项目接入自备的华为云对象存储OBS作为 FineBI 数据存储服务。

4.2.1 更换须知

在进行数据存储服务更换前,请务必充分了解并确认接受以下影响:

1)服务更换后,已抽取的历史数据将无法继续使用,需由管理员执行全局更新操作以重新获取数据。

2)对于原采用增量更新的数据,若源数据已不存在,则全局更新后将无法恢复相关数据。

4.2.2 备份和删除表的元数据

bi-engine-master组件,负责存储表的元数据(即表的结构、数据类型、分区信息等描述性信息,而不是实际的数据内容)

在切换数据存储服务前,需要清理master中历史的元数据路径信息,以确保切换后新配置可用。

1)查看元数据信息存储路径

管理员登录运维平台,选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。

根据提示找到表的元数据信息存储路径,示例为/home/bi61/fanruan240727164101/bi-engine-master/polars/rocks_data

2)备份元数据信息

请前往bi-engine-master组件所在服务器,找到元数据信息存储路径,对rocks_data文件夹进行手动异地备份。

3)删除元数据信息

请在备份成功后,对rocks_data文件夹进行删除。

4.2.3 重启FineBI应用节点

删除表的元数据后,需要重启 bi-web 组件生效。

1)管理员登录运维平台,选中指定项目。点击「维护>组件管理」。

2)找到FineBI应用节点,点击「重启」,并等待 bi-web 状态至 healthy 。

4.2.4 切换数据存储服务

1)管理员登录运维平台,选中指定项目。

2)点击「维护>集群管理」,对「数据存储服务」进行配置。

3)在「数据存储服务」信息填写处第三章准备的华为云对象存储OBS信息

4)点击「存储性能检测」,根据提示优化所准备的数据存储服务的性能。

(性能检测不通过不影响对接,但建议进行优化,以确保FineBI工程运行的稳定性)

5)点击「保存」,提示「连接成功」,即代表可正常对接。

4.2.5 重新全局抽取数据

数据存储服务切换成功后,请管理员登录FineBI,点击「公共数据>全局更新」。

执行「立即全局更新」,即可抽取最新数据,并存放到新的数据存储服务中。