1. 了解所需业务数据编辑
实际操作前,请先了解该项目背景下企业已有的业务数据及其数据格式,以及业务背景分析需要的目标数据。根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。
由于需要对某销售模块数据进行内外贸财务收入的核算,销售流程为订单生成-
因此需要汇总出库、物料、成本、客户信息等数据,生成销售明细宽表,并制作可视化报表方便进行财务数据的查询。
盘点所需原始数据如下:
出库单 EAS_SaleIssueBill、物料单 EAS_MATERIAL、销售订单EAS_SALEORDER、OA物料成本FILL_XSMXTZ_CB、客户表EAS_T_BD_customer、出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT。各表的功能如下:
数据来源系统 | 表 | 作用 |
---|---|---|
EAS | 出库单EAS_SaleIssueBill | 明细表:记录每次出库的产品明细数据,一次出库一条数据,包括单据编号、业务类型、单据创建时间、物料ID、出库金额、数量、单价、出库类型等等。 |
EAS | 物料单EAS_MATERIAL | 明细表:出库物料明细数据,包括物料编码、创建时间、物料状态 |
EAS | 销售订单EAS_SALEORDER | 明细表:出库产品的销售成本明细数据,包括销售订单日期、销售单号、销售成本、贸易方式等等 |
OA | OA物料成本FILL_XSMXTZ_CB | 明细表:物料标准成本明细数据 |
EAS | 客户表EAS_T_BD_customer | 维度表:购买客户信息 |
数据库手动维护 | 出库单分类统计对照表FILL_DIM_XSMTZ_MASTAT | 维度表:出库物料编码对应的部门和分类(后台手动导入维护) |
例如收入的核心是通过出库材料实现的,因此在 EAS 系统「出库单」数据的基础上,通过关联「物料单」、「物料成本」、「销售订单」、「客户表」、「物料分类统计」等数据,形成企业财务收入的明细数据。
数据库源表间逻辑关系如下图所示:
2. 分析产出销售明细台账数据结构编辑
根据原始数据分析可获得的有效数据,并基于业务需求确认最终数据表结构。
销售明细台账(以内贸):
字段 | 说明 | 来源源数据 |
---|---|---|
TRANSTYPE_1 | 标记内贸还是外贸 1 外贸 2 内贸 | sql判断 |
TRANSTYPEDETAIL_1 | ||
BIZTYPE1 | 业务类型 | |
BILLNUMBER | 单据编号 | |
CFCKLX | 出库类型 | |
BIZDATE | 业务日期 | |
FMATERIALID | 出库单物料ID | |
QTY | 基本数量 | |
SALEPRICE | 单价 | |
NONTAXAMOUNT | 金额 | |
ACTUALCOST | 账上成本 | |
MAID | 物料ID | |
MANUMBER | 物料编码 | |
MACREATETIME | 物料创建时间 | |
INCOMETYPE | 收入类型 | |
MASTATUS | 物料状态 | |
CBXISHU | 物料成本系数 | |
STANDARDCOST_L_N | 标准成本料n | |
Standard_COST | 物料成本标准费用 | |
FBIZDAT | 销售订单日期 | |
SALENUMBER | 销售订单单号 | |
CFMYFSNEW_W | 贸易方式w | |
SALECOST | 销售费用 | |
CUSNAME | 送货客户 | |
DEPARTMENT | 部门 | |
TYPE1 | 一级分类 | |
TYPE2 | 2级分类 | |
TYPE3 | 三级分类 | |
xsje | 销售净额 计算所得 | |
ywymle | 销售净额-标准成本料 计算所得 | |
ywymll | 业务员毛利额/销售净额 计算所得 | |
cpmle | 金额-实际成本合计 计算所得 | |
cpmll | 产品毛利额/金额 计算所得 |
3. 数据流与工作流设计编辑
根据规范设计表名:
参考规范设计表名。
根据规范设计数据流:
本案例使用数据集成定时任务同步与 EAS 、OA 系统对接,取出明细数据,同步至数据仓库形成 ODS 层;
使用 FineDataLink 对数据进行数据关联、清洗、计算,以及和其他业务系统的打通之后,基于业务逻辑完整加工处理,得到衍生可应用的指标,装载入企业数据仓库,生成 DW 层明细数据和 DWS 层汇总数据。注:MID 为处理数据的中间表。
根据规范设计节点名:
为更好地定位节点与产出表,当前将节点产出表默认作为节点名,建议实际开发时也保持该规范。
根据规范设计工作流:
基于数据流设计工作流:FineDataLink 上任务上下游关系遵循节点名与表名一一对应原则,基于数据流设计工作流。
新增业务流程管理设计: ODS 全量同时同步源数据,无关联关系;DW 调度增量更新同步处理好的任务,有上下游执行关系,需要任务中连线相连。
同时需要设置定时调度任务的更新频率,例如一天更新一次。
4. 汇总需求编辑
阶段 | 操作对象 | 说明 |
---|---|---|
数据采集阶段 | ods_SalelssueBill | |
ODS_CUSTOMER | ||
ODS_MATERIAL | ||
ODS_SALEORDER | ||
ODS_XSMXTZ_CB | ||
数据加工阶段 | MID_XSMXTJ_STEM | |
DW XSMXTJ STEM NM | ||
DW XSMXTJ STEM WM | ||
MID XS BASIC | ||
数据可视化阶段 | 没有ADS层数据,直接使用 DW 层数据 |