1. 概述
案例DEMO详情参见:自助分析推广应用示例
1.1 应用场景
在进行企业数据分析时,经常会遇到这样的问题:
信息部数据管理人员 | 对于数据的分发管控困难,取数分散,数据口径不统一; 数据维护更新困难,数据变动或者指标缺失时维护成本很高; 数据复杂,数据未分层,跨层关联多,更新和计算性能不好。 |
---|---|
业务分析人员 | 分析需求响应缓慢,没有数据集市,无法快速获取想要的数据,实现自助分析。 |
此时搭建「业务包数据体系」即可以解决这些问题。
通过 分组 、业务包 作为文件夹,分门别类的将数据表存放在 BI 中,理清杂乱的数据关系。
让没有数据分析基础的用户,可以根据分析所需维度&指标,快速地获取数据,减少数据分析的阻力;同时为数据更新和后续的数据权限开放打好坚实的基础。
业务包数据体系在搭建后能实现:
数据表按分组>业务包分门别类,统一命名规范,方便查找与管理。
便于后续持续的进行数据的添加和补充。
1.2 预期效果
将数据库中的数据表进行分类,有序添加至 FineBI 中,并进行层级梳理,使得不同用户能够取自己需要的数据进行自助分析。
以下为一个企业 BI 业务包数据体系示例:
1.3 实现思路
2. 搭建业务包体系
2.1 确认数据需求
确定需要使用的数据表范围。
2.2 判断所需数据层级并对数据进行归纳整理
数据体系的基础是数据表,首先可以根据数据性质将数据表划分为三类:
数据类型 | 性质 | 使用/负责人 | 作用 | 构建方案 |
---|---|---|---|---|
原始数据 | 具体的维度表与事实表,没有经过过多的数据加工,类似于原始业务系统数据、ODS层、DW层 | 信息部门数据管理人员负责管理和导入 BI | 1)作为基础数据和分析数据的原始表,支撑上层数据体系构建 2)当业务发展中产生了分析需求而现有「基础数据」和「分析数据」无法满足时,可通过原始数据拓展解决 | 1)作为单独的独立层级 2)若无DW层,以系统作为业务包划分依据,有DW层则以业务主题作为划分依据 |
基础数据 | 经原始数据加工得到的大宽表,类似于数仓中的DW层、DM层 | 数据分析师/运营管理和使用这些数据 | 1)作为原始数据与业务分析的中间数据层,降低业务使用数据成本 2)降低 IT 响应业务数据需求成本 3)更好的支撑数据分发管控 | 1)作为单独的独立层级 2)以业务主题作为划分依据 |
分析数据 | 经基础数据加工得到的汇总结果表,类似于数仓中的DM层、ADS层 | 数据分析师、运营、业务分析人员使用、管理这些数据 | 增加业务人员使用数据的自由度&降低数据处理工作的复杂度 | 1)作为单独的独立层级 2)以部门+业务主题作为划分依据 |
原始数据、基础数据、分析数据是层层递进的,如果原始数据对应数据仓库中的 ODS 层,则基础数据对应DW层,分析数据对应DM层。
注:原始数据为非必须层级,主要是为了保持可扩展性,当数据量较大时,会造成一定的数据冗余,可根据实际情况选择。
用户可根据自己的实际情况选择是否三个数据层级都要保留,或者仅仅使用「基础数据」和「分析数据」层级,并将已有数据表归类至对应数据层级。
以xx集团总部的财务部为例,将已有的数据表分类,表层次结构示例如下图所示:
2.3 设计业务包/分组框架
对于存放数据表的分组 、业务包,依据原始数据(可以没有)、基础数据、分析数据三类创建业务包和分组,同时可根据系统、业务类型、使用部门、责任人进行进一步的细化,如下图所示:
除了根据不同部门、系统划分分组和业务包外,为便于后续对不同的用户分配不同的数据使用等权限,可以创建「公共」分组,用于存放 BI 系统中多个部门公共使用的数据表以及配置 BI 权限的数据表,可以有效避免权限混乱,如下图所示:
注:公共分组DEMO详情参见:2.4节
2.4 制定命名规范
业务包命名原四要素为:业务/系统/使用部门+业务包/表层级+数据信息(表含义)+业务包/表负责人。
命名规则可根据企业实际情况来调整,不一定要严格按照命名规范中的定义,例如在有一些客户应用过程中,就通常会简化命名,直接省略一些前缀。
2.5 业务包管理制度
将数据表导入 BI 并进行分层梳理后,如何进行业务包的后续管理呢?这里给出两大业务包管理的原则共参考:
3. 案例说明
3.1 公司背景
xx集团有「集团总部」、「家居事业部」、「墙饰事业部」、「灯具事业部」几个组织。
集团总部职能包括人力、市场、财务、供应;其他每个事业部有职能:人力、销售、物流、库存、市场、供应、生产、财务。
公司原始数据相对数据质量比较好的,有过初步整理。
希望能基于现状进行业务包体系的搭建。
3.2 实现过程
3.2.1 确认数据需求
确认需要使用的数据表范围为「集团总部」、「家居事业部」、「墙饰事业部」、「灯具事业部」下的各部门数据。
3.2.2 判断所需数据层级并归纳整理数据
由于公司原始数据相对数据质量比较好的,有过初步整理,基础数据比较好整理,因此取消「原始数据」类型,只保留「基础数据」和「分析数据」两个性质的数据层级。
3.2.3 设计业务包/分组框架
依据集团现有的组织架构划分「分组」,然后在不同的事业部组织中根据「基础数据」和「分析数据」划分分组、业务包。
3.2.4 制定命名规范
命名规则如下图所示:
第一层 | 第二层 | 第三层 | 第四层 | |
---|---|---|---|---|
规则 | xx_事业部 | xx(序号)_职能线_基础数据 | xx(序号)_业务主题 | 数据表 |
xx(序号)_职能线_分析数据_责任人 | xx(序号)_自助数据集/excel_责任人 | |||
示例 | 集团总部 家居_事业部 | 01_人力资源_基础数据 01_人力资源_分析数据_Lisa | 011_薪资数据 | xx数据表 0111_半年报告自助数据集_Lisa |
3.2.5 根据规则梳理数据并添加至 FineBI
梳理示例如下图所示:
3.3 效果查看
详情参见本文 1.2 节。