项目对接阿里云OSS实现数据存储服务

  • 文档创建者:Carly
  • 历史版本:3
  • 最近更新:Carly 于 2025-03-17
  • 1. 概述

    1.1 版本

    运维平台版本
    功能变更
    V2.18.0-

    1.2 应用场景

    对于FineBI6.1项目,支持自备一个S3组件,用来存储FineBI中抽取的基础表和自助数据集数据。

    帆软推荐用户自备支持 S3 协议的云存储文件系统作为文件服务器。

    支持的云存储文件系统包括:阿里云OSS、华为云OBS 、亚马逊云S3其他自行搭建的 S3 平台不确保支持。

    1.3 功能简介

    本文主要讲解FineBI6.1项目与阿里云对象存储OSS的对接:

    • 用户需要自行购买并准备阿里云对象存储OSS

    • 在部署新项目/项目部署好后,可将FineBI项目与该云存储系统对接,实现数据存储服务

    2. 准备阿里云OSS

    用户需要自行购买并准备阿里云对象存储OSS

    帆软不提供相关资料和指导,仅对必要内容进行指明,请查阅阿里云官网获取其他帮助。请参见:阿里云对象存储OSS

    注:对于集群文件服务和FineBI数据存储服务,不建议混用同一个对象存储,请至少准备2个完全独立的Bucket。




    1购买

    自行购买阿里云对象存储OSS

    2创建RAM用户和AccessKey

    1)登录阿里云RAM 访问控制

    2)创建RAM用

    点击「身份管理>用户」,点击「创建用户」

    务必勾选「OpenAPI 调用访问」,以生成AccessKeyID和AccessKeySecret

    3)复制AccessKey信息

    创建成功后,请务必记录下AccessKeyID和AccessKeySecret,下文需要用到

    后续无法再次查询到对应Secret,只能重新新建

    4)分配权限

    勾选该用户,点击「添加权限」

    为用户分配AliyunOSSFullAccess:管理对象存储服务(OSS)权限

    3创建存储空间Bucket
    1)登录阿里云对象存储OSS控制台

    2)创建Bucket(存储空间)

    示例bucket:bi-oss-test

    注1:为确保系统稳定性,集群文件服务与 FineBI 数据存储服务需使用完全独立的存储空间,请分别配置两个独立的 Bucket 。

    注2:FineBI 数据存储服务所使用的 Bucket 需保持纯净,请确保其中不存在任何冗余数据或无关文件。

    3. 准备阿里云OSS信息

    配置项
    说明
    协议S3

    Bucket

    Endpoint

    配置项说明:

    Bucket:存储空间,用于存储对象的容器

    Endpoint:OSS对外服务的访问域名

    获取方式:

    1)登录阿里云对象存储OSS控制台

    2)点击「Bucket列表」,点击工程文件所在Bucket

    3)点击「概览」,即可查看到相关信息

    AccessKey

    SecretKey

    配置项说明:

    AccessKey是阿里云提供给用户的永久访问凭据

    • AccessKey:用于标识用户,即上文创建RAM用户时记录下的AccessKeyId

    • SecretKey:是一个用于验证你拥有该AccessKey ID的密码,即上文创建RAM用户时记录下的AccessKeySecret

    获取方式:

    推荐新建RAM用户并配置 AccessKey(上文创建RAM用户时已记录相关信息

    如果遗失这个 AccessKey,只能创建新的来替代,如何创建:创建AccessKey

    PathStyleAccess

    访问OSS存储桶时,URL的路径结构,一般情况下无需配置
    • false:默认值,虚拟主机样式,存储桶名称为主机名的一部分,这种方式是阿里云OSS的推荐访问方式,通常用于生产环境中

    • true:路径样式,存储桶名称为路径的一部分,如项目对接OSS时,出现证书或unknownhost相关报错,可调整为true

    signerOverride

    允许用户指定请求签名的算法或版本,一般情况下无需配

    如项目对接OSS时,出现证书或unknownhost相关报错,可调整为S3SignerType

    4. 项目接入数据存储

    支持在以下情况下接入阿里云对象存储 OSS 作为 FineBI 数据存储服务,请根据情况自行选择,任选其一即可。

    4.1 部署新项目时接入

    4.1.1 接入数据存储服务

    在「部署新项目-项目设置」时,可接入自备的阿里云对象存储 OSS 作为FineBI数据存储服务。

    此情况下,请确保准备的存储空间bucket中内容为空,不存在任何数据,否则无法成功对接。

    1)数据存储服务选择「对接已有数据存储服务」

    2)在「数据存储服务」信息填写处第三章准备的阿里云对象存储 OSS 信息

    3)点击「测试连接」,提示「测试连接成功」,即代表可正常对接。

    4.1.2 注意事项

    建议在项目部署成功后,对数据存储组件的性能进行检测。性能检测不通过不影响对接,但建议进行优化,以确保FineBI工程运行的稳定性。

    • 管理员登录运维平台,选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。

    • 点击「存储性能检测」,根据提示优化所准备的数据存储服务的性能。

    4.2 部署成功后切换

    项目部署成功后,在运维平台的「集群管理」中,可为项目接入自备的阿里云对象存储 OSS 作为 FineBI 数据存储服务。

    4.2.1 更换须知

    在进行数据存储服务更换前,请务必充分了解并确认接受以下影响:

    1)服务更换后,已抽取的历史数据将无法继续使用,需由管理员执行全局更新操作以重新获取数据。

    2)对于原采用增量更新的数据,若源数据已不存在,则全局更新后将无法恢复相关数据。

    4.2.2 备份和删除表的元数据

    bi-engine-master组件,负责存储表的元数据(即表的结构、数据类型、分区信息等描述性信息,而不是实际的数据内容)

    在切换数据存储服务前,需要清理master中历史的元数据路径信息,以确保切换后新配置可用。

    1)查看元数据信息存储路径

    管理员登录运维平台,选中指定项目。点击「维护>集群管理>数据存储服务>已配置」。

    根据提示找到表的元数据信息存储路径,示例为/home/bi61/fanruan240727164101/bi-engine-master/polars/rocks_data

    2)备份元数据信息

    请前往bi-engine-master组件所在服务器,找到元数据信息存储路径,对rocks_data文件夹进行手动异地备份。

    3)删除元数据信息

    请在备份成功后,对rocks_data文件夹进行删除。

    4.2.3 重启FineBI应用节点

    删除表的元数据后,需要重启 bi-web 组件生效。

    1)管理员登录运维平台,选中指定项目。点击「维护>组件管理」。

    2)找到FineBI应用节点,点击「重启」,并等待 bi-web 状态至 healthy 。

    4.2.4 切换数据存储服务

    1)管理员登录运维平台,选中指定项目。

    2)点击「维护>集群管理」,对「数据存储服务」进行配置。

    3)在「数据存储服务」信息填写处第三章准备的阿里云对象存储 OSS 信息

    4)点击「存储性能检测」,根据提示优化所准备的数据存储服务的性能。

    (性能检测不通过不影响对接,但建议进行优化,以确保FineBI工程运行的稳定性)

    5)点击「保存」,提示「连接成功」,即代表可正常对接。

    4.2.5 重新全局抽取数据

    数据存储服务切换成功后,请管理员登录FineBI,点击「公共数据>全局更新」。

    执行「立即全局更新」,即可抽取最新数据,并存放到新的数据存储服务中。

    附件列表


    主题: 项目管理
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    8s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持

    反馈已提交

    网络繁忙