历史版本3 :需求分析 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 了解已有业务数据编辑

实际操作前,请先了解该项目背景下企业已有的业务数据及其数据格式,以及业务背景分析需要的目标用户画像基本结构。

根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。

原始数据如下:

出库单EAS_SaleIssueBill、物料单EAS_MATERIAL、销售订单EAS_SALEORDER、OA物料成本FILL_XSMXTZ_CB、客户表EAS_T_BD_customer、出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT。各表的功能如下:

数据来源系统
作用
EAS出库单EAS_SaleIssueBill明细表:记录每次出库的产品明细数据,一次出库一条数据,包括单据编号、业务类型、单据创建时间、物料ID、出库金额、数量、单价、出库类型等等。
EAS物料单EAS_MATERIAL明细表:出库物料明细数据,包括物料编码、创建时间、物料状态
EAS销售订单EAS_SALEORDER明细表:出库产品的销售成本明细数据,包括销售订单日期、销售单号、销售成本、贸易方式等等
OAOA物料成本FILL_XSMXTZ_CB明细表:物料标准成本明细数据
EAS客户表EAS_T_BD_customer维度表:购买客户信息
数据库手动维护出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT维度表:出库物料编码对应的部门和分类(后台手动导入维护)

例如收入的核心是通过出库材料实现的,因此在 EAS 系统「出库单」数据的基础上,通过关联「物料单」、「物料成本」、「销售订单」、「客户表」、「物料分类统计」等数据,形成企业财务收入的明细数据。

数据库源表间逻辑关系如下图所示:

2. 分析产出销售明细台账数据结构编辑

根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。

销售明细台账(以内贸)

字段
TRANSTYPE_1


标记内贸还是外贸

1 外贸

2 内贸

TRANSTYPEDETAIL_1
BIZTYPE1业务类型
BILLNUMBER单据编号
CFCKLX出库类型
BIZDATE 业务日期
FMATERIALID出库单物料ID
QTY基本数量
SALEPRICE单价
NONTAXAMOUNT金额
ACTUALCOST账上成本
MAID物料ID
MANUMBER物料编码
MACREATETIME物料创建时间
INCOMETYPE收入类型
MASTATUS物料状态
CBXISHU物料成本系数
STANDARDCOST_L_N标准成本料n
Standard_COST
FBIZDAT销售订单日期
SALENUMBER销售订单单号
CFMYFSNEW_W贸易方式w
SALECOST销售费用
CUSNAME送货客户
DEPARTMENT部门

TYPE1

一级分类
TYPE22级分类
TYPE3三级分类

xsje 

销售净额

计算所得

ywymle 

销售净额-标准成本料

计算所得 

ywymll 

业务员毛利额/销售净额

计算所得 

cpmle 

金额-实际成本合计

计算所得 

cpmll 

产品毛利额/金额

计算所得 


3. 数据流与工作流设计编辑

根据规范设计表名

参考规范设计表名。本案例设计5张表。表命名规范详情请参见:ODS层设计规范

    • 用户基本信息表:ods_user_info_d

    • 网站访问日志原始数据表:ods_raw_log_d

    • 网站访问日志明细表:dwd_log_info_di

    • 用户网站访问信息宽表:dws_user_info_all_di

    • 用户画像数据:ads_user_info_1d

  1. 根据规范设计数据流

    本实验使用数据集成离线同步任务将用户信息数据与用户网站访问记录数据分别同步至MaxCompute各表,并通过ODPS SQL任务,基于MaxCompute计算引擎进行逐级加工处理,产出最终目标用户画像数据,具体逻辑参见图示。

  2. 根据规范设计节点名

    为更好地定位节点与产出表,当前实验将节点产出表默认作为节点名,建议实际开发时也保持该规范。

  3. 根据规范设计工作流(即业务流程):

    • 基于数据流设计工作流:DataWorks上任务上下游关系遵循节点名与表名一一对应原则,基于数据流设计工作流。节点命名规范详情请参见:配置同周期调度依赖

    • 新增业务流程管理设计:由于OSS同步任务(ods_raw_log_d)与MySQL同步任务(ods_user_info_d)为原始业务数据写入数仓,数仓侧均没有实际血缘依赖,且两个任务间没有统一的根节点,所以需要新增虚拟节点WorkShop_Start用于统筹管理该用户画像分析业务流程。

      本案例中,通过将虚拟节点WorkShop_Start的定时时间设置为每日00:15执行,实现整个用户画像分析每日00:15开始调度执行的需求。

汇总需求编辑