反馈已提交

网络繁忙

①数据检测任务概述

  • 文档创建者:Wendy123456
  • 历史版本:53
  • 最近更新:Wendy123456 于 2026-03-02
  • icon提示:

    产品注册版本为「v5.0时,才能使用数据检测任务功能;如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「」,选择「在线支持」、电话「400-811-8890」)。

    1. 概述

    1.1 应用场景

    某些业务系统中或者数仓中的数据,可能存在一些不符合要求的情况,用户期望能够定义一些规则,对其进行定期检测,检测完毕后,输出检测的结果报告并进行通知。

    1.2 功能简介

    在检测任务中,支持自定义配置检测规则,对数据质量进行定期检测。

    2.png

    2. 使用限制

    独立部署工程 支持使用此功能。

    3. 前提条件

    1)注册「数据检测」功能点,详情请参见:功能点限制

    2)有「数据检测」功能的使用权限,详情请参见:数据检测使用权限

    3)需要检测任务执行资源分配;点击管理系统>智能运维>负载管理>负载分配」:

    • 无需设置「内存分配」。

    • 需要设置「并发控制」控制并发数:新工程部署、老工程升级上去,默认为 0 并发,用户需要手动调整才可使用(一个数据检测任务占用一个并发)。

    10.png

    4. 能力说明

    1772437507364924.png

    能力
    说明
    数据源数据检测任务支持的数据源:FineDataLink支持的数据源
    任务配置
    要素
    说明
    检测对象

    1)可选择一张表或者多张表 

    配置任务自定义规则/全局自定义规则时,仅支持添加 1 张表

    2)支持为所有已选的表,配置数据范围;用户可为每张所选表通过写 WHERE 语句的形式指定筛选条件

    检测规则

    1)定义如何检查数据(单表检测:表级、字段级;两表比对

    FineDataLink 提供了丰富的内置模板,用户也可以自定义模板来满足业务需要 

    2)一个数据检测任务中可添加多个检测规则 

    3)5.0.7.3 及之后版本,支持配置规则强度 

    • 强规则检测不通过,将判定表检测不通过。例如:任务中有强、弱规则,有一个强规则检测不通过,即最终检测不通过

    • 弱规则检测不通过,不影响表最终检测结果。例如:任务中都为弱规则且都检测不通过,但最终检测通过

    调度和报警

    1)支持设置检测任务的执行频率

    2)支持将数据检测任务的结果以平台、邮件、短信、客户端(钉钉、飞书、企业微信)的形式推给用户 

    任务运维

    可查看数据检测任务的运行情况/日志/表数据、编辑数据检测任务、终止数据检测任务实例等 

    其他5.0.3.3 及之后版本,支持在定时任务中 调用数据检测任务,若检测不通过,可通知给对应负责人

    5. 兼容说明

    若用户从 5.0.3.3 之前版本升级到 5.0.3.3 及之后版本,升级后,配置映射如下:

    原配置
    新配置

    规则类型:表级

    检测对象:总行数

    规则类型:平台内置规则

    内置规则类型:单表总行数校验

    规则类型:表级

    检测对象:过滤行统计

    规则类型:自定义规则

    计算方式:行级筛选

    符合条件行明细SQL:填入原配置的行范围部分写的SQL

    规则类型:字段级

    检测对象:字段值计算结果

    计算结果:自定义SQL

    规则类型:自定义规则

    计算方式:聚合统计

    使用自定义SQL定义计算:勾选

    自定义SQL:填入自定义SQL内容

    规则类型:字段级

    检测对象:字段值计算结果

    计算结果:其他(比如最早时间、最晚时间、最大值、最小值等)

    规则类型:自定义规则

    计算方式:聚合统计

    使用自定义SQL定义计算:不勾选

    统计行范围:留空

    计算方式&计算字段:按原逻辑填入(多表多字段仅保留第一个)

    规则类型:字段级

    检测对象:字段行统计内容

    行范围:重复行

    规则类型:平台内置规则

    内置规则类型:字段值唯一性校验

    多表多字段可照常选中

    规则类型:字段级

    检测对象:字段行统计内容

    行范围:自定义SQL

    规则类型:自定义规则

    计算方式:行级筛选

    符合条件行明细SQL:填入原配置的行范围部分写的SQL(多表多字段仅保留第一个)

    规则类型:字段级

    检测对象:字段行统计内容

    行范围:正则匹配

    规则类型:平台内置规则

    内置规则类型:字段格式校验

    正则表达式:填入原配置的正则表达式

    多表多字段可照常选中




    附件列表


    主题: 数据管理
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持