历史版本53 :①数据检测任务概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:
icon提示:

产品注册版本为「v5.0时,才能使用数据检测任务功能;如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「」,选择「在线支持」、电话「400-811-8890」)。

目录:

1. 概述编辑

1.1 应用场景

某些业务系统中或者数仓中的数据,可能存在一些不符合要求的情况,用户期望能够定义一些规则,对其进行定期检测,检测完毕后,输出检测的结果报告并进行通知。

1.2 功能简介

在检测任务中,支持自定义配置检测规则,对数据质量进行定期检测。

2.png

2. 使用限制编辑

独立部署工程 支持使用此功能。

3. 前提条件编辑

1)注册「数据检测」功能点,详情请参见:功能点限制

2)有「数据检测」功能的使用权限,详情请参见:数据检测使用权限

3)需要检测任务执行资源分配;点击管理系统>智能运维>负载管理>负载分配」:

  • 无需设置「内存分配」。

  • 需要设置「并发控制」控制并发数:新工程部署、老工程升级上去,默认为 0 并发,用户需要手动调整才可使用(一个数据检测任务占用一个并发)。

10.png

4. 能力说明编辑

1772437507364924.png

能力
说明
数据源数据检测任务支持的数据源:FineDataLink支持的数据源
任务配置
要素
说明
检测对象

1)可选择一张表或者多张表 

配置任务自定义规则/全局自定义规则时,仅支持添加 1 张表

2)支持为所有已选的表,配置数据范围;用户可为每张所选表通过写 WHERE 语句的形式指定筛选条件

检测规则

1)定义如何检查数据(单表检测:表级、字段级;两表比对

FineDataLink 提供了丰富的内置模板,用户也可以自定义模板来满足业务需要 

2)一个数据检测任务中可添加多个检测规则 

3)5.0.7.3 及之后版本,支持配置规则强度 

  • 强规则检测不通过,将判定表检测不通过。例如:任务中有强、弱规则,有一个强规则检测不通过,即最终检测不通过

  • 弱规则检测不通过,不影响表最终检测结果。例如:任务中都为弱规则且都检测不通过,但最终检测通过

调度和报警

1)支持设置检测任务的执行频率

2)支持将数据检测任务的结果以平台、邮件、短信、客户端(钉钉、飞书、企业微信)的形式推给用户 

任务运维

可查看数据检测任务的运行情况/日志/表数据、编辑数据检测任务、终止数据检测任务实例等 

其他5.0.3.3 及之后版本,支持在定时任务中 调用数据检测任务,若检测不通过,可通知给对应负责人

5. 兼容说明编辑

若用户从 5.0.3.3 之前版本升级到 5.0.3.3 及之后版本,升级后,配置映射如下:

原配置
新配置

规则类型:表级

检测对象:总行数

规则类型:平台内置规则

内置规则类型:单表总行数校验

规则类型:表级

检测对象:过滤行统计

规则类型:自定义规则

计算方式:行级筛选

符合条件行明细SQL:填入原配置的行范围部分写的SQL

规则类型:字段级

检测对象:字段值计算结果

计算结果:自定义SQL

规则类型:自定义规则

计算方式:聚合统计

使用自定义SQL定义计算:勾选

自定义SQL:填入自定义SQL内容

规则类型:字段级

检测对象:字段值计算结果

计算结果:其他(比如最早时间、最晚时间、最大值、最小值等)

规则类型:自定义规则

计算方式:聚合统计

使用自定义SQL定义计算:不勾选

统计行范围:留空

计算方式&计算字段:按原逻辑填入(多表多字段仅保留第一个)

规则类型:字段级

检测对象:字段行统计内容

行范围:重复行

规则类型:平台内置规则

内置规则类型:字段值唯一性校验

多表多字段可照常选中

规则类型:字段级

检测对象:字段行统计内容

行范围:自定义SQL

规则类型:自定义规则

计算方式:行级筛选

符合条件行明细SQL:填入原配置的行范围部分写的SQL(多表多字段仅保留第一个)

规则类型:字段级

检测对象:字段行统计内容

行范围:正则匹配

规则类型:平台内置规则

内置规则类型:字段格式校验

正则表达式:填入原配置的正则表达式

多表多字段可照常选中