最新历史版本 :项目对接阿里云OSS实现数据存储服务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

运维平台版本
功能变更
V2.18.0-

1.2 应用场景

对于FineBI6.1项目，支持自备一个S3组件，用来存储FineBI中抽取的基础表和自助数据集数据。

帆软推荐用户自备支持 S3 协议的云存储文件系统作为文件服务器。

支持的云存储文件系统包括：阿里云OSS、华为云OBS 、亚马逊云S3。其他自行搭建的 S3 平台不确保支持。

1.3 功能简介

本文主要讲解FineBI6.1项目与阿里云对象存储OSS的对接：

  • 用户需要自行购买并准备阿里云对象存储OSS。

  • 在部署新项目/项目部署好后，可将FineBI项目与该云存储系统对接，实现数据存储服务

2. 准备阿里云OSS编辑

用户需要自行购买并准备阿里云对象存储OSS。

帆软不提供相关资料和指导，仅对必要内容进行指明，请查阅阿里云官网获取其他帮助。请参见：阿里云对象存储OSS

注：对于集群文件服务和FineBI数据存储服务，不建议混用同一个对象存储，请至少准备2个完全独立的Bucket。




1购买

自行购买阿里云对象存储OSS

2创建RAM用户和AccessKey

1）登录阿里云RAM 访问控制

2）创建RAM用户

点击「身份管理>用户」，点击「创建用户」

务必勾选「OpenAPI 调用访问」，以生成AccessKeyID和AccessKeySecret

3）复制AccessKey信息

创建成功后，请务必记录下AccessKeyID和AccessKeySecret，下文需要用到

后续无法再次查询到对应Secret，只能重新新建

4）分配权限

勾选该用户，点击「添加权限」

为用户分配AliyunOSSFullAccess：管理对象存储服务（OSS）权限

3创建存储空间Bucket
1）登录阿里云对象存储OSS控制台

2）创建Bucket（存储空间）

示例bucket：bi-oss-test

注1：为确保系统稳定性，集群文件服务与 FineBI 数据存储服务需使用完全独立的存储空间，请分别配置两个独立的 Bucket 。

注2：FineBI 数据存储服务所使用的 Bucket 需保持纯净，请确保其中不存在任何冗余数据或无关文件。

3. 准备阿里云OSS信息编辑

配置项
说明
协议S3

Bucket

Endpoint

配置项说明：

Bucket：存储空间，用于存储对象的容器

Endpoint：OSS对外服务的访问域名

获取方式：

1）登录阿里云对象存储OSS控制台

2）点击「Bucket列表」，点击工程文件所在Bucket

3）点击「概览」，即可查看到相关信息

AccessKey

SecretKey

配置项说明：

AccessKey是阿里云提供给用户的永久访问凭据

  • AccessKey：用于标识用户，即上文创建RAM用户时记录下的AccessKeyId

  • SecretKey：是一个用于验证你拥有该AccessKey ID的密码，即上文创建RAM用户时记录下的AccessKeySecret

获取方式：

推荐新建RAM用户并配置 AccessKey（上文创建RAM用户时已记录相关信息）

如果遗失这个 AccessKey，只能创建新的来替代，如何创建：创建AccessKey

PathStyleAccess

访问OSS存储桶时，URL的路径结构，一般情况下无需配置

  • false：默认值，虚拟主机样式，存储桶名称为主机名的一部分，这种方式是阿里云OSS的推荐访问方式，通常用于生产环境中

  • true：路径样式，存储桶名称为路径的一部分，如项目对接OSS时，出现证书或unknownhost相关报错，可调整为true

signerOverride

允许用户指定请求签名的算法或版本，一般情况下无需配置

如项目对接OSS时，出现证书或unknownhost相关报错，可调整为S3SignerType

4. 项目接入数据存储编辑

支持在以下情况下接入阿里云对象存储 OSS 作为 FineBI 数据存储服务，请根据情况自行选择，任选其一即可。

4.1 部署新项目时接入

4.1.1 接入数据存储服务

在「部署新项目-项目设置」时，可接入自备的阿里云对象存储 OSS 作为FineBI数据存储服务。

此情况下，请确保准备的存储空间bucket中内容为空，不存在任何数据，否则无法成功对接。

1）数据存储服务选择「对接已有数据存储服务」

2）在「数据存储服务」信息填写处第三章准备的阿里云对象存储 OSS 信息

3）点击「测试连接」，提示「测试连接成功」，即代表可正常对接。

4.1.2 注意事项

建议在项目部署成功后，对数据存储组件的性能进行检测。性能检测不通过不影响对接，但建议进行优化，以确保FineBI工程运行的稳定性。

  • 管理员登录运维平台，选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。

  • 点击「存储性能检测」，根据提示优化所准备的数据存储服务的性能。

4.2 部署成功后切换

项目部署成功后，在运维平台的「集群管理」中，可为项目接入自备的阿里云对象存储 OSS 作为 FineBI 数据存储服务。

4.2.1 更换须知

在进行数据存储服务更换前，请务必充分了解并确认接受以下影响：

1）服务更换后，已抽取的历史数据将无法继续使用，需由管理员执行全局更新操作以重新获取数据。

2）对于原采用增量更新的数据，若源数据已不存在，则全局更新后将无法恢复相关数据。

4.2.2 备份和删除表的元数据

bi-engine-master组件，负责存储表的元数据（即表的结构、数据类型、分区信息等描述性信息，而不是实际的数据内容）

在切换数据存储服务前，需要清理master中历史的元数据路径信息，以确保切换后新配置可用。

1）查看元数据信息存储路径

管理员登录运维平台，选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。

根据提示找到表的元数据信息存储路径，示例为/home/bi61/fanruan240727164101/bi-engine-master/polars/rocks_data

2）备份元数据信息

请前往bi-engine-master组件所在服务器，找到元数据信息存储路径，对rocks_data文件夹进行手动异地备份。

3）删除元数据信息

请在备份成功后，对rocks_data文件夹进行删除。

4.2.3 重启FineBI应用节点

删除表的元数据后，需要重启 bi-web 组件生效。

1）管理员登录运维平台，选中指定项目。点击「维护>组件管理」。

2）找到FineBI应用节点，点击「重启」，并等待 bi-web 状态至 healthy 。

4.2.4 切换数据存储服务

1）管理员登录运维平台，选中指定项目。

2）点击「维护>集群管理」，对「数据存储服务」进行配置。

3）在「数据存储服务」信息填写处第三章准备的阿里云对象存储 OSS 信息

4）点击「存储性能检测」，根据提示优化所准备的数据存储服务的性能。

（性能检测不通过不影响对接，但建议进行优化，以确保FineBI工程运行的稳定性）

5）点击「保存」，提示「连接成功」，即代表可正常对接。

4.2.5 重新全局抽取数据

数据存储服务切换成功后，请管理员登录FineBI，点击「公共数据>全局更新」。

执行「立即全局更新」，即可抽取最新数据，并存放到新的数据存储服务中。