反馈已提交

网络繁忙

如何搭建业务包数据体系

  • 文档创建者:Roxy
  • 历史版本:4
  • 最近更新:Roxy 于 2021-09-26
  • 1. 概述

    案例DEMO详情参见:自助分析推广应用示例

    1.1 应用场景

    在进行企业数据分析时,经常会遇到这样的问题:

    信息部数据管理人员

    对于数据的分发管控困难,取数分散,数据口径不统一;

    数据维护更新困难,数据变动或者指标缺失时维护成本很高;

    数据复杂,数据未分层,跨层关联多,更新和计算性能不好。

                        业务分析人员分析需求响应缓慢,没有数据集市,无法快速获取想要的数据,实现自助分析。

    此时搭建「业务包数据体系」即可以解决这些问题。

    通过 分组业务包 作为文件夹,分门别类的将数据表存放在 BI 中,理清杂乱的数据关系。

    让没有数据分析基础的用户,可以根据分析所需维度&指标,快速地获取数据,减少数据分析的阻力;同时为数据更新和后续的数据权限开放打好坚实的基础。

    业务包数据体系在搭建后能实现:

    • 数据表按分组>业务包分门别类,统一命名规范,方便查找与管理。

    • 便于后续持续的进行数据的添加和补充。

    1.2 预期效果

    将数据库中的数据表进行分类,有序添加至 FineBI 中,并进行层级梳理,使得不同用户能够取自己需要的数据进行自助分析。

    以下为一个企业 BI 业务包数据体系示例:

    1.3 实现思路

    2. 搭建业务包体系

    2.1 确认数据需求

    确定需要使用的数据表范围。

    2.2 判断所需数据层级并对数据进行归纳整理

    数据体系的基础是数据表,首先可以根据数据性质将数据表划分为三类:

    数据类型
    性质使用/负责人作用构建方案
    原始数据具体的维度表与事实表,没有经过过多的数据加工,类似于原始业务系统数据、ODS层、DW层信息部门数据管理人员负责管理和导入 BI

    1)作为基础数据和分析数据的原始表,支撑上层数据体系构建

    2)当业务发展中产生了分析需求而现有「基础数据」和「分析数据」无法满足时,可通过原始数据拓展解决

    1)作为单独的独立层级

    2)若无DW层,以系统作为业务包划分依据,有DW层则以业务主题作为划分依据

    基础数据经原始数据加工得到的大宽表,类似于数仓中的DW层、DM层数据分析师/运营管理和使用这些数据

    1)作为原始数据与业务分析的中间数据层,降低业务使用数据成本

    2)降低 IT 响应业务数据需求成本

    3)更好的支撑数据分发管控

    1)作为单独的独立层级

    2)以业务主题作为划分依据

    分析数据经基础数据加工得到的汇总结果表,类似于数仓中的DM层、ADS层数据分析师、运营、业务分析人员使用、管理这些数据增加业务人员使用数据的自由度&降低数据处理工作的复杂度

    1)作为单独的独立层级

    2)以部门+业务主题作为划分依据

    原始数据、基础数据、分析数据是层层递进的,如果原始数据对应数据仓库中的 ODS 层,则基础数据对应DW层,分析数据对应DM层。

    注:原始数据为非必须层级,主要是为了保持可扩展性,当数据量较大时,会造成一定的数据冗余,可根据实际情况选择。

    用户可根据自己的实际情况选择是否三个数据层级都要保留,或者仅仅使用「基础数据」和「分析数据」层级,并将已有数据表归类至对应数据层级。

    以xx集团总部的财务部为例,将已有的数据表分类,表层次结构示例如下图所示:

    2.3 设计业务包/分组框架

    对于存放数据表的分组业务包,依据原始数据(可以没有)、基础数据、分析数据三类创建业务包和分组,同时可根据系统、业务类型、使用部门、责任人进行进一步的细化,如下图所示:

    除了根据不同部门、系统划分分组和业务包外,为便于后续对不同的用户分配不同的数据使用等权限,可以创建「公共」分组,用于存放 BI 系统中多个部门公共使用的数据表以及配置 BI 权限的数据表,可以有效避免权限混乱,如下图所示:

    注:公共分组DEMO详情参见:2.4节

    2.4 制定命名规范

    业务包命名原四要素为:业务/系统/使用部门+业务包/表层级+数据信息(表含义)+业务包/表负责人。

    命名规则可根据企业实际情况来调整,不一定要严格按照命名规范中的定义,例如在有一些客户应用过程中,就通常会简化命名,直接省略一些前缀。

    2.5 业务包管理制度

    将数据表导入 BI 并进行分层梳理后,如何进行业务包的后续管理呢?这里给出两大业务包管理的原则共参考:

    业务包管理遵循两大原则:

    • 业务包责任制

    1)每个业务包/组按需分配数据管理员,通常「原始数据」管理员为 IT 人员、「基础数据」为部门「数据分析师」、「分析数据」为部门业务人员。

    2)管理员为自己的业务包/组数据质量兜底,包括但不限于无重复数据表、指标逻辑正确、数据口径一致等。

    3)业务包数据官方唯一出口,业务包管理员所发布的数据为对应模块的唯一官方数据。

    • 数据使用层级制

    1)不同使用人群具备的数据查看&使用权限不同,详情参见:如何分配权限体系

    2)数据获取&变更需求不得越级处理,即分析表层级用户需要数据必须像基础表业务包管理员提需求,不可越级向原始表管理员提需求,详情参见:搭建流程管理体系

    3. 案例说明

    3.1 公司背景

    • xx集团有「集团总部」、「家居事业部」、「墙饰事业部」、「灯具事业部」几个组织。

    • 集团总部职能包括人力、市场、财务、供应;其他每个事业部有职能:人力、销售、物流、库存、市场、供应、生产、财务。

    • 公司原始数据相对数据质量比较好的,有过初步整理。

    希望能基于现状进行业务包体系的搭建。

    3.2 实现过程

    3.2.1 确认数据需求

    确认需要使用的数据表范围为「集团总部」、「家居事业部」、「墙饰事业部」、「灯具事业部」下的各部门数据。

    3.2.2 判断所需数据层级并归纳整理数据

    由于公司原始数据相对数据质量比较好的,有过初步整理,基础数据比较好整理,因此取消「原始数据」类型,只保留「基础数据」和「分析数据」两个性质的数据层级。

    3.2.3 设计业务包/分组框架

    依据集团现有的组织架构划分「分组」,然后在不同的事业部组织中根据「基础数据」和「分析数据」划分分组、业务包。

    3.2.4 制定命名规范

    命名规则如下图所示:


    第一层第二层第三层第四层
    规则xx_事业部xx(序号)_职能线_基础数据xx(序号)_业务主题数据表

    xx(序号)_职能线_分析数据_责任人xx(序号)_自助数据集/excel_责任人
    示例

    集团总部

    家居_事业部

    01_人力资源_基础数据

    01_人力资源_分析数据_Lisa

    011_薪资数据

    xx数据表

    0111_半年报告自助数据集_Lisa

    3.2.5 根据规则梳理数据并添加至 FineBI

    添加分组、业务包、数据表操作步骤详情参见:分组业务包添加sql数据集添加数据库表

    梳理示例如下图所示:

    3.3 效果查看

    详情参见本文 1.2 节。


    附件列表


    主题: 系统准备
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    售前咨询电话

    400-811-8890转1

    在线技术支持

    在线QQ:800049425

    热线电话:400-811-8890转2

    总裁办24H投诉

    热线电话:173-1278-1526

    文 档反 馈

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭