提示:产品注册版本为「v5.0」时,才能使用数据检测任务功能;如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1. 概述编辑
1.1 应用场景
某些业务系统中或者数仓中的数据,可能存在一些不符合要求的情况,用户期望能够定义一些规则,对其进行定期检测,检测完毕后,输出检测的结果报告并进行通知。
1.2 功能简介
在检测任务中,支持自定义配置检测规则,对数据质量进行定期检测。

2. 使用限制编辑
仅 独立部署工程 支持使用此功能。
3. 前提条件编辑
1)注册「数据检测」功能点,详情请参见:功能点限制
2)有「数据检测」功能的使用权限,详情请参见:数据检测使用权限
3)需要检测任务执行资源分配;点击「管理系统>智能运维>负载管理>负载分配」:
无需设置「内存分配」。
需要设置「并发控制」控制并发数:新工程部署、老工程升级上去,默认为 0 并发,用户需要手动调整才可使用(一个数据检测任务占用一个并发)。

4. 能力说明编辑

| 能力 | 说明 | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| 数据源 | 数据检测任务支持的数据源:FineDataLink支持的数据源 | ||||||||
| 任务配置 |
| ||||||||
| 任务运维 | 可查看数据检测任务的运行情况/日志/表数据、编辑数据检测任务、终止数据检测任务实例等
| ||||||||
| 其他 | 5.0.3.3 及之后版本,支持在定时任务中 调用数据检测任务,若检测不通过,可通知给对应负责人 |
5. 兼容说明编辑
若用户从 5.0.3.3 之前版本升级到 5.0.3.3 及之后版本,升级后,配置映射如下:
| 原配置 | 新配置 |
|---|---|
规则类型:表级 检测对象:总行数 | 规则类型:平台内置规则 内置规则类型:单表总行数校验 |
规则类型:表级 检测对象:过滤行统计 | 规则类型:自定义规则 计算方式:行级筛选 符合条件行明细SQL:填入原配置的行范围部分写的SQL |
规则类型:字段级 检测对象:字段值计算结果 计算结果:自定义SQL | 规则类型:自定义规则 计算方式:聚合统计 使用自定义SQL定义计算:勾选 自定义SQL:填入自定义SQL内容 |
规则类型:字段级 检测对象:字段值计算结果 计算结果:其他(比如最早时间、最晚时间、最大值、最小值等) | 规则类型:自定义规则 计算方式:聚合统计 使用自定义SQL定义计算:不勾选 统计行范围:留空 计算方式&计算字段:按原逻辑填入(多表多字段仅保留第一个) |
规则类型:字段级 检测对象:字段行统计内容 行范围:重复行 | 规则类型:平台内置规则 内置规则类型:字段值唯一性校验 多表多字段可照常选中 |
规则类型:字段级 检测对象:字段行统计内容 行范围:自定义SQL | 规则类型:自定义规则 计算方式:行级筛选 符合条件行明细SQL:填入原配置的行范围部分写的SQL(多表多字段仅保留第一个) |
规则类型:字段级 检测对象:字段行统计内容 行范围:正则匹配 | 规则类型:平台内置规则 内置规则类型:字段格式校验 正则表达式:填入原配置的正则表达式 多表多字段可照常选中 |

