1. 概述
FineDataLink 提供 数据检测 功能,可自定义配置检测规则,对数据质量进行定期检测。
在实际场景中,什么时候需要做数据质量检测,怎么选择检测对象,该配置什么规则呢?本文为您解答。
2. 操作步骤
2.1 什么时候需要做数据质量检测
当数据在业务流转或使用中可能影响决策、运营或合规时,就需要进行质量检测:
决策数据不可信:看板/报表多次发现指标数值异常,决策效率降低。
业务流程受阻:业务环节因数据问题无法继续流转,影响业务效率。
ETL任务不稳定:ETL任务经常因脏数据中断,运维成本高。
合规与审计要求:满足监管、审计要求,保障数据合规可信。
2.2 如何选择需要检测的对象
根据本节内容,确定的数据对象示例:数据对象基础信息表.xlsx
2.2.1 重要性原则
业务痛点数据:以最终数据消费需求为起点,例如管理层经营分析会、部门绩效看板、核心业务报表中所使用的数据。
业务主数据:公司级共享的基础数据,被多个系统或流程重复使用,包括人事组织、客户信息、供应商档案、产品物料等。
战略专项数据:支撑公司重大战略项目或专项运营的数据,如LTC、新产品研发、重大投标等。
2.2.2 成本效益原则
| 评估维度 | 高优先级 | 低优先级 |
|---|---|---|
| 预期治理收益 | 问题频繁发生、影响范围广、业务方急迫要求解决 | 偶发问题、影响可控、业务反馈不强烈 |
| 治理成本 | 规则清晰、数据易访问、有明确负责人 | 历史原因复杂、数据源难以改造、检测成本极高 |
由数据管家或数据治理专员定期收集业务部门的痛点和数据质量问题,形成待治理清单。
对清单中的每项评估收益与成本,优先选择“低投入、高收益”的数据对象进行治理。
对于已经运作成熟、质量本身较高的数据,或检测成本远超预期改进价值的数据,暂时不纳入治理范围。
2.2.3 明确性原则
检测对象为数据指标时,指标设计需要清晰,可进行衡量,指标口径可统一,没有歧义。
2.2.4 持续性原则
一次性问题不单独配置检测:例如历史某次数据导入时产生的错误,已经人工修复后,如果没有再次发生的风险,就不需要为此建立长期检测规则。
持续迭代:根据业务变化、新系统上线、新报表发布,动态调整检测对象和规则,确保治理始终覆盖关键环节。
2.3 如何为表/字段选取质量检测规则
根据本节内容,为数据对象设置的检测清单示例:字段级质量规则清单.xlsx
基于数据质量六性,为表/字段选择合适的检测规则,全面保障数据质量。
| 维度 | 核心目标 | 梳理要点 | 典型场景 | 规则示例 |
|---|---|---|---|---|
| 唯一性 | 避免同一核心信息重复出现,减少数据冗余 |
| 合同ID出现重复,导致销售额统计翻倍 | 合同ID字段不允许重复 |
| 完整性 | 确保数据无缺失、无遗漏,字段有值 |
| 客户联系方式为空,导致无法触达 | 客户信息表中客户联系方式不能为空 |
| 准确性 | 避免数据错误,确保数据真实反映业务实际情况 |
| 支付日期早于签单日期,逻辑矛盾 | 签单日期≤开票日期≤支付日期 |
| 有效性 | 确保数据格式、取值范围、字典编码符合业务规范 | 明确字段的标准格式与合法取值范围
| 合同状态出现“审批中”等非标准值 | “合同状态”只能是:待生效、执行中、已关闭、已作废 |
| 一致性 | 避免同一数据在不同字段、不同表、不同时间点出现矛盾 |
| 合同表的签约金额与子产品明细汇总对不上 | 合同表与子产品表的产品线取值必须一致 |
| 时效性 | 确保数据能够反映最新的业务状态,避免数据滞后 |
| 报表看的是3天前的数据,经营决策依据滞后 | 费用明细表更新频率为T+1,每天9点前更新时间是否正常 |
