历史版本6 :数据检测任务 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.2.1.4
-

1.2 应用场景

某些业务系统中或者数仓中的数据,可能存在一些不符合要求的情况,用户期望能够定义一些规则,对其进行定期检测,检测完毕后,输出检测的结果报告并进行通知。

1.3 功能简介

支持创建「数据检测」规则&「数据检测」任务。

  • 支持创建、管理、引用检测规则

  • 支持针对单表/多表做:字段级检测、表级检测。

2. 前提条件编辑

需要同时满足下面两个条件:

3. 使用限制编辑

支持数据源:MySQL、Oracle、SqlServer(由于原生语法不支持,暂不支持正则表达式)、PostgreSQL

仅独立部署工程支持使用该功能。

4. 设置检测任务编辑

4.1 监控任务

创建检测任务后,即可进入编辑界面配置任务,首先设置监控对象,选择有权限的数据连接和监控的数据表,如下图所示:

配置项
说明
数据源

下拉框中显示用户拥有管理权限的数据连接

监控对象

下拉框中显示该数据连接下的库表

支持批量选表,最大表数量:50

4.2 设置规则

点击添加检测规则,设置规则详情,如下图所示:

配置项说明
规则类型
  • 表级

  • 字段级

当定义「表级」时

选项说明
总行数提供数值类型的条件判断,条件值允许输入常量;一个规则中允许用户添加条件:且条件、或条件
过滤行统计
  • 联动出现where条件SQL编辑框,支持通过写where语句配置数据过滤,不需要写「WHERE」关键词

  • 不可为空

  • 不支持写limit语句

  • 不支持填写参数

  • 语句中提供@[tableName]占位符为表名,@[column]占位符为字段名,字段名支持写多个占位符,@[column],@[column1],@[column2]...依次类推,在任务中引用时支持针对占位符分别选择字段

  • 提供行值、行值占比两种方式,计算方式:过滤出符合条件的明细行值,最终输出为过滤后的字段行数、过滤后字段行数/总行数占比值,将产生的行值、行值占比提供数值的条件判断,其中行值占比条件值默认加上%

当定义「字段级」时

选项
说明
字段值计算结果

数据类型为数值:提供选择字段计算规则,支持求和、求平均、求最大值、求最小值、求方差、求标准差、求中位数、自定义SQL

数据类型为文本:SQL语句计算结果

数据类型为日期:最早时间、最晚时间、自定义SQL

字段行统计内容

统计内容包括行数和行占

  • 行范围:重复值、正则匹配(仅支持非中文输入,中文输入将标红提示,输入null,识别为英文字符null,不表示null值,该规则输入字段限制为文本、数值类型)、自定义SQL

  • 行数:过滤出符合条件的明细行值

  • 行占比:过滤后字段行数/总行数占比值


规则渠道

自定义规则:上文的规则类型设

引用规则:引用全局规则,可下拉选择全局规则设置的规则。


5. 全局规则编辑

5.1 全局规则设置

全局规则设置步骤与 4.2 节设置检测任务相似,不同的是这些规则能被引用在所有的检测任务中。

5.2 全局规则管理

在「全局规则」页面中,可以查看当前工程中所有全局规则,包括名称、类型、对象、创建者,同时提供新增、编辑、删除、搜索全局规则名称操作。

在「全局规则管理」页面中,展示该全局规则的修改记录,包括创建时间/修改时间,创建者/修改者(仅记录最新操作的15个记录,若超过,最晚记录覆盖最早记录)

6. 单个检测任务管理编辑

6.1 运行任务

在任务界面可直接运行任务,如下图所示:

6.2 定时调度

详情参见:

6.3 结果通知

详情参见:

6.4 检测报告

当任务运行后,即可看到展示最新一次的运行记录,包括记录ID、运行开始时间、触发方式、检测是否通过,如下图所示:

同时可以看到被检测的数据表、规则内容以及数据结果,如下图所示:

6.5 运行日志

详情参见:

6.6 前往任务运维

详情参见:

7. 检测任务执行资源分配编辑

以任务为维度并发执行,所有规则都会执行。

  • 无需分配「内存分配」

  • 需要设置「并发控制」控制并发数:新工程部署,老工程升级上去,默认0,用户需要手动调整才可使用。

8. 最佳实践编辑