1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
5.0.3.3 | 新增「调用检测任务」节点 |
1.2 应用场景
用户希望定时任务运行后,立即触发对目标表的质量检测,如果表数据有质量问题,可及时告知指定负责人并阻断下游任务,防止数据质量问题蔓延。
1.3 功能简介
定时任务中新增「调用检测任务」节点,可在定时任务中调用 数据检测任务 。如下图所示:
1.4 使用前提
需要注册「步骤流程-基础节点」和「数据检测」功能点。
2. 示例
2.1 场景模拟
用户想将「供应商查询」表中浙江省的数据同步到一张已存在表中,名称为 test,同步后需要检查目标表中「tel」字段格式是否正确,且不能为空。
若 tel 字段格式不正确,或者为空,通知给指定负责人进行处理。
2.2 设计数据检测任务
检测任务详细说明请参见:数据检测任务
1)在「数据管理」模块中新建一个数据检测任务。
2)检测对象选择目标表 test ,添加规则1,tel 字段不能为空。如下图所示:
3)再添加一个规则,用来检查手机号格式是否正确。如下图所示:
4)点击「保存」按钮。
5)点击「结果通知」按钮,若数据检测任务运行失败或者检测不通过时,通知给指定用户。如下图所示:
2.3 设计定时任务
1)新建定时任务。
2)拖入「数据同步」节点,将「供应商查询」表中浙江省的数据同步到 test 表中。如下图所示:
3)拖入「调用检测任务」节点,调用本文 2.2 节创建的数据检测任务,当数据同步到目标表后,立即对目标表的 tel 字段进行检测,若检测不通过,通知给指定负责人。如下图所示:
设置项 | 说明 |
---|---|
调用检测任务 |
|
检测范围 | 1)点击「添加」按钮,可选择检测任务中配置的检测对象,支持多选/全选 2)数据范围:允许用户为所选择的表,指定数据范围 沿用检测任务配置: 根据检测任务中配置的规则,检查检测任务中选择的对象 自定义范围:
|
2.4 效果查看
1)点击「运行」按钮,运行定时任务。任务运行后,可单独查看「调用检测任务」节点的日志。如下图所示:
2)点击「查看日志」按钮,跳转到检测任务的运行记录页面,查看检测任务运行结果。如下图所示:
3)点击「查看详情」按钮,可查看数据检测任务的运行详情。
4)若检测任务检测不通过,指定负责人会收到通知。本文 2.2 节通知渠道设置的为平台,所以数据检测任务不通过时,平台会收到通知。如下图所示: