1. 业务背景
电商经营由于通常涉及多个自营店铺和其他各种分销店铺,销售渠道链路长、各类数据繁杂零碎,数据监控和取用相对困难,因此对数据的管理和整合就显得非常重要。
x电商公司在数据的整合和管理方面,主要遇到两个问题:
1)通过旺店通取数,然后在 Excel 中整合,各部门根据自己的口径进行取数和即时分析,数据口径不统一,出现大量重复工作。
2)由于采用 Excel 做了大量的数据分析,但由于电商数据庞杂,遇到了性能瓶颈限制。
3)电商全平台的分析过程中除了销售额、利润等常见指标,还有一些难以量化和对比的因素,Excel 分析存在瓶颈,无法将货盘趋势整合进来,不能敏锐捕获市场变化,导致对电商数据监控不足,为业务服务不够,数据价值得不到充分的发挥。
2. 解决思路
2.1 方案理念
要解决上述问题,更好的管理电商经营数据,让数据充分发挥价值,就必须:
将处理好的庞杂的数仓数据统一存储数据库,并提供高性能、能够即时分析的 BI 平台进行数据分析和展示,解决各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享、重复工作多等问题;避免大数据量 Excel 造成的性能问题。
根据数仓数据制作全平台销售库存货盘分析,监控全平台整体销售等情况,敏锐监控市场变化。
因此采取以下方案:
1)优化获取业务数据流程:利用 FineDataLink 数据集成工具,对接旺店通等电商经营数据平台并入库,结合填报的数据,建立数据仓库,助力形成数据分析架构线上化,实现数据口径的统一。
2)搭建数据仓库框架:使用FDL搭建数仓,将各业务系统数据统一梳理到数仓,整合维度表,并建设好DW、DM层的逻辑框架;
3)提供统一的分析平台:提供统一的 BI 分析平台,将数仓处理好的统一口径的数据对外提供,便于业务进行即时分析,避免使用 Excel 带来的性能问题和重复工作,同时可实现数据共享。
2.2 方案架构
首先梳理业务流程,然后将各个阶段业务流程对应的数据表单进行梳理,整理数据关系,为搭建数据仓库做准备。
电商经营数据地图如下图所示:
1)使用 FineDataLink 搭建数仓:
旺店通电商系统中由五张表构成:货品档案 qm_wdt_erp_goods、销售出库 qm_wdt_erp_stockout_detail、退货入库 qm_wdt_erp_stockin_refund、采购qm_wdt_erp_purchase_order_detail、库存查询qm_wdt_erp_stock_spec。
各表的功能如下:
表 | 作用 |
---|---|
货品档案 qm_wdt_erp_goods | 明细表:获取ERP的货品档案资料,包括商家编码、货品编号、货品名称、品牌、创建时间、零售价等等。 |
销售出库 qm_wdt_erp_stockout_detail | 明细表:获取ERP销售出库单信息,包括商家编码、店铺名称、发货时间、发货地区、总货款、货品数量等等。 |
退货入库 qm_wdt_erp_stockin_refund | 明细表:获取ERP的退货入库单单据信息,包括商家编码、店铺名称、制单时间、入库总金额、数量等等。 |
采购qm_wdt_erp_purchase_order_detail | 明细表:获取ERP内采购单信息,包括商家编码、采购编号、采购确认量、到货入库量、预计到货时间等等。 |
库存查询qm_wdt_erp_stock_spec | 明细表:获取ERP单品(sku)的库存量,包括商家编码、待采购量、仓库名、采购在途量、可发库存、创建时间等等。 |
手动维护的填报数据如下:
表 | 说明 |
---|---|
店铺平台表 dim_store | 维度表:店铺名-平台名 |
品牌映射表dim_brand | 维度表:品牌名-品牌统计名 |
小类团队映射表dim_goodstype_team | 维度表:小类-团队 |
例如核心是通过销售出库与退货入库、采购、库存数据明细关联和计算获取销售收入、净利润,然后再与货品档案和其他维表关联带上商品编码、店铺信息等形成宽表。
数据库源表间逻辑关系如下图所示:
FineDataLink 和旺店通 ERP 系统对接,取出明细数据,同步至数据仓库形成 ODS 层;
手工维护的维度数据导入库中,并使用 FineDataLink 对数据进行关联,并清洗、计算,得到衍生可应用的指标,装载入企业数据仓库,生成 DW 层明细数据,再根据仪表板展示需要对明细进行汇总、时间段处理生成前端可以直接使用的 DM 层数据,以便后续被 BI 用来制作分析看板。注:tmp 为处理数据的中间表。
搭建好的数据仓库数据表明细如下表所示:
ODS 、 DW 、DM 层任务见第三章具体说明。
2)其次,使用 FineBI 对宽表进行数据处理、展现、数据分析,制作全平台销售库存看板,实现即时分析和监控。
监控全平台整体销售达成情况,分析全年销售趋势,对平台、品牌销售的明细和分布进行探查,做到对平台-团队-店铺和品牌-品类项目的统筹管控。
按照品牌和单品分类分析库存情况,关注货盘结构、货盘明细,分析在库库存情况。
3. 方案内容
3.1 全量同步业务系统数据,形成ODS层
将来自旺店通 ERP 系统的接口数据取至指定数据库,如下图所示:
调度任务:
同时,手动填报维护店铺、品牌等维度数据表,导入数据库中,如下图所示:
3.2 关联计算生成DW销售明细数据
根据不同维度要求和不同主题域,DW层为各商家编码的关键指标宽表。
调度总任务:
基于 ODS 层数据,根据「货品档案 qm_wdt_erp_goods」和手动维护的维度表进行处理,获取货品维度表「dw_goods_weidu」
然后将「销售出库 qm_wdt_erp_stockout_detail」和「退货入库 qm_wdt_erp_stockin_refund」进行维度汇总整理。
最后将货品维度和出入库数据、采购单数据进行关联,生成商家编码销售明细「dw_spec_sale」,该数据表中包含了以商家编码为维度的销售收入、退货额、采购价格等等销售明细数据,如下图所示:
3.3 汇总数据生成DM主题层
按照前端仪表板的展示需求,DM层在DW层的基础上将数据进行进一步整合和处理,形成:商家编码维度销售和库存宽表、地区销售额表。
调度总任务:
将明细层的数据:商家编码销售明细「dw_spec_sale」与库存数据合并,并对销售额、库存等数据按照各个时间区间进行汇总,得到商家的各种时间段销售+库存数据「dm_spec_stock」,如下图所示:
将明细层的数据:商家编码销售明细「dw_spec_sale」降维并汇总成本、收入、毛利等等数据,生成商家编码维度销售汇总数据「dw_spechz_sale」,如下图所示:
另一方面,汇总降维获得地区维度的销售数据表「dm_area_index」,如下图所示:
至此,商家编码维度销售数据和库存数据即可被使用制作可视化看板。
3.4 数据引入 FineBI 分析平台并制作驾驶舱
1)为了便于进行电商经营数据的应用,将数仓搭建好的 DW层和 DM 层数据接入 BI 分析系统。后续所有业务人员可持续使用统一数据源进行分析。
2)制作全平台销售库存分析看板,实现即时分析和监控。
监控全平台整体销售达成情况,分析全年销售趋势,对平台、品牌销售的明细和分布进行探查,做到对平台-团队-店铺和品牌-品类项目的统筹管控。
按照品牌和单品分类分析库存情况,关注货盘结构、货盘明细,分析在库库存情况。