1. 概述
1.1 版本
运维平台版本 | 功能变更 |
---|---|
V2.18.0 | - |
1.2 应用场景
对于FineBI6.1项目,支持自备一个S3组件,用来存储FineBI中抽取的基础表和自助数据集数据。
帆软推荐用户自备支持 S3 协议的云存储文件系统作为文件服务器。
支持的云存储文件系统包括:阿里云OSS、华为云OBS 、亚马逊云S3。其他自行搭建的 S3 平台不确保支持。
1.3 功能简介
本文主要讲解FineBI6.1项目与阿里云对象存储OSS的对接:
用户需要自行购买并准备阿里云对象存储OSS。
在部署新项目/项目部署好后,可将FineBI项目与该云存储系统对接,实现数据存储服务
2. 准备阿里云OSS
用户需要自行购买并准备阿里云对象存储OSS。
帆软不提供相关资料和指导,仅对必要内容进行指明,请查阅阿里云官网获取其他帮助。请参见:阿里云对象存储OSS
注:对于集群文件服务和FineBI数据存储服务,不建议混用同一个对象存储,请至少准备2个完全独立的Bucket。
1 | 购买 | 自行购买阿里云对象存储OSS |
2 | 创建RAM用户和AccessKey | 1)登录阿里云RAM 访问控制 2)创建RAM用户 点击「身份管理>用户」,点击「创建用户」 务必勾选「OpenAPI 调用访问」,以生成AccessKeyID和AccessKeySecret 3)复制AccessKey信息 创建成功后,请务必记录下AccessKeyID和AccessKeySecret,下文需要用到 后续无法再次查询到对应Secret,只能重新新建 4)分配权限 勾选该用户,点击「添加权限」 为用户分配AliyunOSSFullAccess:管理对象存储服务(OSS)权限 |
3 | 创建存储空间Bucket | 1)登录阿里云对象存储OSS控制台 2)创建Bucket(存储空间) 示例bucket:bi-oss-test 注1:为确保系统稳定性,集群文件服务与 FineBI 数据存储服务需使用完全独立的存储空间,请分别配置两个独立的 Bucket 。 注2:FineBI 数据存储服务所使用的 Bucket 需保持纯净,请确保其中不存在任何冗余数据或无关文件。 |
3. 准备阿里云OSS信息
配置项 | 说明 |
---|---|
协议 | S3 |
Bucket Endpoint | 配置项说明: Bucket:存储空间,用于存储对象的容器 Endpoint:OSS对外服务的访问域名 获取方式: 1)登录阿里云对象存储OSS控制台 2)点击「Bucket列表」,点击工程文件所在Bucket 3)点击「概览」,即可查看到相关信息 |
AccessKey SecretKey | 配置项说明: AccessKey是阿里云提供给用户的永久访问凭据
获取方式: 推荐新建RAM用户并配置 AccessKey(上文创建RAM用户时已记录相关信息) 如果遗失这个 AccessKey,只能创建新的来替代,如何创建:创建AccessKey |
PathStyleAccess | 访问OSS存储桶时,URL的路径结构,一般情况下无需配置
|
signerOverride | 允许用户指定请求签名的算法或版本,一般情况下无需配置 如项目对接OSS时,出现证书或unknownhost相关报错,可调整为S3SignerType |
4. 项目接入数据存储
支持在以下情况下接入阿里云对象存储 OSS 作为 FineBI 数据存储服务,请根据情况自行选择,任选其一即可。
4.1 部署新项目时接入
4.1.1 接入数据存储服务
在「部署新项目-项目设置」时,可接入自备的阿里云对象存储 OSS 作为FineBI数据存储服务。
此情况下,请确保准备的存储空间bucket中内容为空,不存在任何数据,否则无法成功对接。
1)数据存储服务选择「对接已有数据存储服务」
2)在「数据存储服务」信息填写处第三章准备的阿里云对象存储 OSS 信息
3)点击「测试连接」,提示「测试连接成功」,即代表可正常对接。
4.1.2 注意事项
建议在项目部署成功后,对数据存储组件的性能进行检测。性能检测不通过不影响对接,但建议进行优化,以确保FineBI工程运行的稳定性。
管理员登录运维平台,选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。
- 点击「存储性能检测」,根据提示优化所准备的数据存储服务的性能。
4.2 部署成功后切换
项目部署成功后,在运维平台的「集群管理」中,可为项目接入自备的阿里云对象存储 OSS 作为 FineBI 数据存储服务。
4.2.1 更换须知
在进行数据存储服务更换前,请务必充分了解并确认接受以下影响:
1)服务更换后,已抽取的历史数据将无法继续使用,需由管理员执行全局更新操作以重新获取数据。
2)对于原采用增量更新的数据,若源数据已不存在,则全局更新后将无法恢复相关数据。
4.2.2 备份和删除表的元数据
bi-engine-master组件,负责存储表的元数据(即表的结构、数据类型、分区信息等描述性信息,而不是实际的数据内容)
在切换数据存储服务前,需要清理master中历史的元数据路径信息,以确保切换后新配置可用。
1)查看元数据信息存储路径
管理员登录运维平台,选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。
根据提示找到表的元数据信息存储路径,示例为/home/bi61/fanruan240727164101/bi-engine-master/polars/rocks_data
2)备份元数据信息
请前往bi-engine-master组件所在服务器,找到元数据信息存储路径,对rocks_data文件夹进行手动异地备份。
3)删除元数据信息
请在备份成功后,对rocks_data文件夹进行删除。
4.2.3 重启FineBI应用节点
删除表的元数据后,需要重启 bi-web 组件生效。
1)管理员登录运维平台,选中指定项目。点击「维护>组件管理」。
2)找到FineBI应用节点,点击「重启」,并等待 bi-web 状态至 healthy 。
4.2.4 切换数据存储服务
1)管理员登录运维平台,选中指定项目。
2)点击「维护>集群管理」,对「数据存储服务」进行配置。
3)在「数据存储服务」信息填写处第三章准备的阿里云对象存储 OSS 信息
4)点击「存储性能检测」,根据提示优化所准备的数据存储服务的性能。
(性能检测不通过不影响对接,但建议进行优化,以确保FineBI工程运行的稳定性)
5)点击「保存」,提示「连接成功」,即代表可正常对接。
4.2.5 重新全局抽取数据
数据存储服务切换成功后,请管理员登录FineBI,点击「公共数据>全局更新」。
执行「立即全局更新」,即可抽取最新数据,并存放到新的数据存储服务中。