反馈已提交

网络繁忙

数据检测规则配置指导

  • 文档创建者:Wendy123456
  • 历史版本:19
  • 最近更新:Wendy123456 于 2026-06-05
  • 1. 概述

    FineDataLink 提供 数据检测 功能,可自定义配置检测规则,对数据质量进行定期检测。

    在实际场景中,什么时候需要做数据质量检测,怎么选择检测对象,该配置什么规则呢?本文为您解答。

    2. 操作步骤

    2.1 什么时候需要做数据质量检测

    当数据在业务流转或使用中可能影响决策、运营或合规时,就需要进行质量检测:

    • 决策数据不可信:看板/报表多次发现指标数值异常,决策效率降低。

    • 业务流程受阻:业务环节因数据问题无法继续流转,影响业务效率。

    • ETL任务不稳定:ETL任务经常因脏数据中断,运维成本高。

    • 合规与审计要求:满足监管、审计要求,保障数据合规可信。

    2.2 如何选择需要检测的对象

    根据本节内容,确定的数据对象示例:数据对象基础信息表.xlsx

    2.2.1 重要性原则

    • 业务痛点数据:以最终数据消费需求为起点,例如管理层经营分析会、部门绩效看板、核心业务报表中所使用的数据。

    • 业务主数据:公司级共享的基础数据,被多个系统或流程重复使用,包括人事组织、客户信息、供应商档案、产品物料等。

    • 战略专项数据:支撑公司重大战略项目或专项运营的数据,如LTC、新产品研发、重大投标等。

    2.2.2 成本效益原则

    评估维度
    高优先级低优先级
    预期治理收益问题频繁发生、影响范围广、业务方急迫要求解决偶发问题、影响可控、业务反馈不强烈
    治理成本规则清晰、数据易访问、有明确负责人历史原因复杂、数据源难以改造、检测成本极高
    • 由数据管家或数据治理专员定期收集业务部门的痛点和数据质量问题,形成待治理清单。

    • 对清单中的每项评估收益与成本,优先选择“低投入、高收益”的数据对象进行治理。

    • 对于已经运作成熟、质量本身较高的数据,或检测成本远超预期改进价值的数据,暂时不纳入治理范围。

    2.2.3 明确性原则

    检测对象为数据指标时,指标设计需要清晰,可进行衡量,指标口径可统一,没有歧义。

    2.2.4 持续性原则

    • 一次性问题不单独配置检测:例如历史某次数据导入时产生的错误,已经人工修复后,如果没有再次发生的风险,就不需要为此建立长期检测规则。

    • 持续迭代:根据业务变化、新系统上线、新报表发布,动态调整检测对象和规则,确保治理始终覆盖关键环节。

    2.3 如何为表/字段选取质量检测规则

    根据本节内容,为数据对象设置的检测清单示例:字段级质量规则清单.xlsx

    基于数据质量六性,为表/字段选择合适的检测规则,全面保障数据质量。

    维度
    核心目标梳理要点典型场景规则示例
    唯一性避免同一核心信息重复出现,减少数据冗余
    • 明确数据集的唯一标识字段,设定唯一规则

    • 关注非唯一标识字段的重复场景(有限制条件下的唯一性)

    合同ID出现重复,导致销售额统计翻倍合同ID字段不允许重复
    完整性确保数据无缺失、无遗漏,字段有值
    • 明确数据集中“必填字段”和“可选字段”,针对必填字段设定完整性规则

    • 关注数据集的记录完整性:无空行、无重复空记录

    客户联系方式为空,导致无法触达客户信息表中客户联系方式不能为空
    准确性避免数据错误,确保数据真实反映业务实际情况
    • 围绕字段的业务含义,明确字段的取值范围、业务口径

    • 校验数据是否与实际业务场景、已知标准一致

    支付日期早于签单日期,逻辑矛盾签单日期≤开票日期≤支付日期
    有效性确保数据格式、取值范围、字典编码符合业务规范

    明确字段的标准格式与合法取值范围

    • 统一枚举值 / 字典编码规范

    • 校验数据是否符合业务定义的有效形态

    合同状态出现“审批中”等非标准值“合同状态”只能是:待生效、执行中、已关闭、已作废
    一致性避免同一数据在不同字段、不同表、不同时间点出现矛盾
    • 关注同一数据集内字段间的一致性

    • 关注不同数据集间关联字段的一致性、数据更新后的一致性

    • 关注数据集的数据格式、命名的统一性

    合同表的签约金额与子产品明细汇总对不上合同表与子产品表的产品线取值必须一致
    时效性确保数据能够反映最新的业务状态,避免数据滞后
    • 明确数据的更新频率、更新时限

    • 明确滞后数据的判定标准和处理方式,结合业务场景设定时效规则

    报表看的是3天前的数据,经营决策依据滞后费用明细表更新频率为T+1,每天9点前更新时间是否正常






    附件列表


    主题: 数据管理
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持