1. 了解已有业务数据编辑
实际操作前,请先了解该项目背景下企业已有的业务数据及其数据格式,以及业务背景分析需要的目标用户画像基本结构。
根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。
原始数据如下:
出库单EAS_SaleIssueBill、物料单EAS_MATERIAL、销售订单EAS_SALEORDER、OA物料成本FILL_XSMXTZ_CB、客户表EAS_T_BD_customer、出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT。各表的功能如下:
数据来源系统 | 表 | 作用 |
---|---|---|
EAS | 出库单EAS_SaleIssueBill | 明细表:记录每次出库的产品明细数据,一次出库一条数据,包括单据编号、业务类型、单据创建时间、物料ID、出库金额、数量、单价、出库类型等等。 |
EAS | 物料单EAS_MATERIAL | 明细表:出库物料明细数据,包括物料编码、创建时间、物料状态 |
EAS | 销售订单EAS_SALEORDER | 明细表:出库产品的销售成本明细数据,包括销售订单日期、销售单号、销售成本、贸易方式等等 |
OA | OA物料成本FILL_XSMXTZ_CB | 明细表:物料标准成本明细数据 |
EAS | 客户表EAS_T_BD_customer | 维度表:购买客户信息 |
数据库手动维护 | 出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT | 维度表:出库物料编码对应的部门和分类(后台手动导入维护) |
例如收入的核心是通过出库材料实现的,因此在 EAS 系统「出库单」数据的基础上,通过关联「物料单」、「物料成本」、「销售订单」、「客户表」、「物料分类统计」等数据,形成企业财务收入的明细数据。
数据库源表间逻辑关系如下图所示:
2. 分析产出销售明细台账数据结构编辑
根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。
销售明细台账(以内贸)
字段 | |
---|---|
3. 数据流与工作流设计编辑
根据规范设计表名:
参考规范设计表名。本案例设计5张表。表命名规范详情请参见:ODS层设计规范。
用户基本信息表:ods_user_info_d
网站访问日志原始数据表:ods_raw_log_d
网站访问日志明细表:dwd_log_info_di
用户网站访问信息宽表:dws_user_info_all_di
用户画像数据:ads_user_info_1d
根据规范设计数据流:
本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至MaxCompute各表,并通过ODPS SQL任务,基于MaxCompute计算引擎进行逐级加工处理,产出最终目标用户画像数据,具体逻辑参见图示。
根据规范设计节点名:
为更好地定位节点与产出表,当前实验将节点产出表默认作为节点名,建议实际开发时也保持该规范。
根据规范设计工作流(即业务流程):