1. 了解所需业务数据
实际操作前,请先了解该项目背景下企业已有的业务数据及其数据格式,以及业务背景分析需要的目标数据。根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。
由于需要对某销售模块数据进行内外贸财务收入的核算,销售流程为如下图所示:
因此需要汇总出库、物料、成本、客户信息等数据,生成销售明细宽表,并制作可视化报表方便进行财务数据的查询。
盘点所需原始数据如下:
出库单 EAS_SaleIssueBill、物料单 EAS_MATERIAL、销售订单EAS_SALEORDER、OA物料成本FILL_XSMXTZ_CB、客户表EAS_T_BD_customer、出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT。各表的功能如下:
数据来源系统 | 表 | 作用 |
---|---|---|
EAS | 出库单EAS_SaleIssueBill | 明细表:记录每次出库的产品明细数据,一次出库一条数据,包括单据编号、业务类型、单据创建时间、物料ID、出库金额、数量、单价、出库类型等等。 |
EAS | 物料单EAS_MATERIAL | 明细表:出库物料明细数据,包括物料编码、创建时间、物料状态 |
EAS | 销售订单EAS_SALEORDER | 明细表:出库产品的销售成本明细数据,包括销售订单日期、销售单号、销售成本、贸易方式等等 |
OA | OA物料成本FILL_XSMXTZ_CB | 明细表:物料标准成本明细数据 |
EAS | 客户表EAS_T_BD_customer | 维度表:购买客户信息 |
数据库手动维护 | 出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT | 维度表:出库物料编码对应的部门和分类(后台手动导入维护) |
填报到数据库 | 收入调整表DWS_XS_BASIC_ALTER | 明细表: FineReport 报表前端填报进行人工调账 |
例如收入的核心是通过出库材料实现的,因此在 EAS 系统「出库单」数据的基础上,通过关联「物料单」、「物料成本」、「销售订单」、「客户表」、「物料分类统计」等数据,形成企业财务收入的明细数据。
数据库源表间逻辑关系如下图所示:
2. 分析产出销售明细台账数据结构
根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。
点击展开 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DW_XSMXTJ_STEM_NM 销售成本明细表(内贸):
|
3. 数据流与工作流设计
根据规范设计表名:
参考规范设计表名。
根据规范设计数据流:
本案例使用数据集成定时任务同步与 EAS 、OA 系统对接,取出明细数据,同步至数据仓库形成 ODS 层;
使用 FineDataLink 对数据进行数据关联、清洗、计算,以及和其他业务系统的打通之后,基于业务逻辑完整加工处理,得到衍生可应用的指标,装载入企业数据仓库,生成 DW 层明细数据和 DWS 层汇总数据。注:MID 为处理数据的中间表。
根据规范设计节点名:
为更好地定位节点与产出表,当前将节点产出表默认作为节点名,建议实际开发时也保持该规范。
根据规范设计工作流:
基于数据流设计工作流:FineDataLink 上任务上下游关系遵循节点名与表名一一对应原则,基于数据流设计工作流。
新增业务流程管理设计: ODS 全量同时同步源数据,无关联关系;DW 调度增量更新同步处理好的任务,有上下游执行关系,需要任务中连线相连。
同时需要设置定时调度任务的更新频率,例如一天更新一次。
4. 汇总需求
阶段 | 操作对象 | 说明 |
---|---|---|
数据采集阶段 | ods_SalelssueBill | 将 EAS 系统和 OA 系统数据表同步至同一数据库环境中 |
ODS_CUSTOMER | ||
ODS_MATERIAL | ||
ODS_SALEORDER | ||
ODS_XSMXTZ_CB | ||
数据加工阶段 | MID_XSMXTJ_STEM | 通过将数据采集阶段采集的数据表以及数据库手动维护的出库单分类统计对照表 FILL_DIM_XSMTZ_MASTAT 关联合并以及初步加工成「销售明细统计宽表」 |
DW XSMXTJ STEM NM | 对于内贸外贸中有特殊处理的分开进行计算,同时基于「销售明细统计宽表」中数据进行明细计算,获取明细级别的销售净额、营业员毛利率、产品毛利率等数据 | |
DW XSMXTJ STEM WM | ||
MID XS BASIC | 合并内外贸数据 并根据指定维度(日期、部门)进行轻度汇总 | |
DWS_XS_BASIC | 轻度汇总销售明细统计数据与填报维护的收入调整表数据合并,得到最终事业部分析 | |
数据可视化阶段 | 没有ADS层数据,直接使用 DW 层数据 销售明细台账 | 使用DW_XSMXTJ_STEM_NM 和 DW_XSMXTJ_STEM_WM 表分别制作明细台账报表 |
事业部分析 | 使用DWS_XS_BASIC 轻度汇总的销售成本数据制作报表 |