1. 了解所需业务数据
实际操作前,请先了解该项目背景下企业已有的业务数据及其数据格式,以及业务背景分析需要的目标数据。根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。
对于电商中的销售、库存数据,企业想要实现:
监控全平台整体销售达成情况,分析全年销售趋势,对平台、品牌销售的明细和分布进行探查,做到对平台-团队-店铺和品牌-品类项目的统筹管控。
按照品牌和单品分类分析库存情况,关注货盘结构、货盘明细,分析在库库存情况。
电商业务流程如下图所示:
盘点所需原始数据如下:
旺店通电商系统中由五张表构成:货品档案 qm_wdt_erp_goods、销售出库 qm_wdt_erp_stockout_detail、退货入库 qm_wdt_erp_stockin_refund、采购qm_wdt_erp_purchase_order_detail、库存查询qm_wdt_erp_stock_spec。
各表的功能如下:
表 | 作用 |
---|---|
货品档案 qm_wdt_erp_goods | 明细表:获取ERP的货品档案资料,包括商家编码、货品编号、货品名称、品牌、创建时间、零售价等等。 |
销售出库 qm_wdt_erp_stockout_detail | 明细表:获取ERP销售出库单信息,包括商家编码、店铺名称、发货时间、发货地区、总货款、货品数量等等。 |
退货入库 qm_wdt_erp_stockin_refund | 明细表:获取ERP的退货入库单单据信息,包括商家编码、店铺名称、制单时间、入库总金额、数量等等。 |
采购qm_wdt_erp_purchase_order_detail | 明细表:获取ERP内采购单信息,包括商家编码、采购编号、采购确认量、到货入库量、预计到货时间等等。 |
库存查询qm_wdt_erp_stock_spec | 明细表:获取ERP单品(sku)的库存量,包括商家编码、待采购量、仓库名、采购在途量、可发库存、创建时间等等。 |
手动维护的填报数据如下:
表 | 说明 |
---|---|
店铺平台表 dim_store | 维度表:店铺名-平台名 |
品牌映射表dim_brand | 维度表:品牌名-品牌统计名 |
小类团队映射表dim_goodstype_team | 维度表:小类-团队 |
例如核心是通过销售出库与退货入库、采购、库存数据明细关联和计算获取销售收入、净利润,然后再与货品档案和其他维表关联带上商品编码、店铺信息等形成宽表。
数据库源表间逻辑关系如下图所示:
2.
3. 数据流和工作流设计
根据规范设计表名:
参考规范设计表名。
根据规范设计数据流:
本案例使用数据集成定时任务同步与 EAS 、OA 系统对接,取出明细数据,同步至数据仓库形成 ODS 层;
使用 FineDataLink 对数据进行数据关联、清洗、计算,以及和其他业务系统的打通之后,基于业务逻辑完整加工处理,得到衍生可应用的指标,装载入企业数据仓库,生成 DW 层明细数据和 DWS 层汇总数据。注:MID 为处理数据的中间表。
根据规范设计节点名:
为更好地定位节点与产出表,当前将节点产出表默认作为节点名,建议实际开发时也保持该规范。
根据规范设计工作流:
基于数据流设计工作流:FineDataLink 上任务上下游关系遵循节点名与表名一一对应原则,基于数据流设计工作流。
新增业务流程管理设计: ODS 全量同时同步源数据,无关联关系;DW 调度增量更新同步处理好的任务,有上下游执行关系,需要任务中连线相连。
同时需要设置定时调度任务的更新频率,例如一天更新一次。
4. 汇总需求
阶段 | 操作对象 | 说明 |
---|---|---|
数据采集阶段 | ods_SalelssueBil | |