1. 概述编辑
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.2.1.4 | - |
1.2 应用场景
某些业务系统中或者数仓中的数据,可能存在一些不符合要求的情况,用户期望能够定义一些规则,对其进行定期检测,检测完毕后,输出检测的结果报告并进行通知。
1.3 功能简介
支持创建「数据检测」规则&「数据检测」任务。
支持创建、管理、引用检测规则
支持针对单表/多表做:字段级检测、表级检测。
2. 前提条件编辑
3. 使用限制编辑
支持数据源:MySQL、Oracle、SqlServer、PostgreSQL
仅独立部署工程支持使用该功能。
4. 设置检测任务编辑
4.1 监控任务
创建检测任务后,即可进入编辑界面配置任务,首先设置监控对象,选择有权限的数据连接和监控的数据表,如下图所示:
配置项 | 说明 |
---|---|
数据源 | 下拉框中显示用户拥有管理权限的数据连接 |
监控对象 | 下拉框中显示该数据连接下的库表 支持批量选表,最大表数量:50 |
4.2 设置规则
点击添加检测规则,设置规则详情,如下图所示:
配置项 | 说明 | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
规则类型 |
| |||||||||||
当定义「表级」时
当定义「字段级」时
| ||||||||||||
规则渠道 | 自定义规则:上文的规则类型设计 引用规则:引用全局规则,可下拉选择全局规则设置的规则。 |
5. 全局规则编辑
5.1 全局规则设置
全局规则设置步骤与 4.2 节设置检测任务相似,不同的是这些规则能被引用在所有的检测任务中。
5.2 全局规则管理
在「全局规则」页面中,可以查看当前工程中所有全局规则,包括名称、类型、对象、创建者,同时提供新增、编辑、删除、搜索全局规则名称操作。
在「全局规则管理」页面中,展示该全局规则的修改记录,包括创建时间/修改时间,创建者/修改者(仅记录最新操作的15个记录,若超过,最晚记录覆盖最早记录)
6. 单个检测任务管理编辑
6.1 运行任务
在任务界面可直接运行任务,如下图所示:
6.2 定时调度
详情参见:
6.3 结果通知
详情参见:
6.4 检测报告
当任务运行后,即可看到展示最新一次的运行记录,包括记录ID、运行开始时间、触发方式、检测是否通过,如下图所示:
同时可以看到被检测的数据表、规则内容以及数据结果,如下图所示:
6.5 运行日志
详情参见:
6.6 前往任务运维
详情参见:
7. 检测任务执行资源分配编辑
以任务为维度并发执行,所有规则都会执行。
无需分配「内存分配」
需要设置「并发控制」控制并发数:新工程部署,老工程升级上去,默认0,用户需要手动调整才可使用。