反馈已提交

网络繁忙

检测结果输入

  • 文档创建者:Naya
  • 历史版本:14
  • 最近更新:Wendy123456 于 2026-05-27
  • icon提示:

    产品注册版本为「v5.0共创版时,「检测结果输入」节点需安装「FDL数据检测概要数据集」插件,如需试用请填写链接:数据检测客户共创意愿收集表

    1.  概述

    1.1 版本

    FineDataLink 版本功能变动
    5.0.6.1新增「检测结果输入」算子
    5.0.11.3
    数据来源中新增「检测任务问题清单」

    1.2 应用场景

    用户希望数据检测任务检测到质量问题时,打通外部工单系统,将异常信息整理上报,再跟踪问题解决方案的落地处理。

    1.3 功能简介

    定时任务的「数据转换」节点中新增「检测结果输入」算子,数据来源可选择「检测任务结果概要」和「检测任务问题清单」,用户可根据实际需要筛选符合条件的检测任务结果。

    1779848161172103.png

    数据来源
    功能简介
    检测任务结果概要

    1)筛选条件可以是某次、某个检测任务、检测完成时间、检测任务状态,返回检测结果和检测任务的具体配置信息

    2)侧重于具体某次检测的详细情况查看

    检测任务问题清单

    1)主要是对 检测任务-问题清单 进行筛选,筛选条件可以是运行记录ID、检测任务ID、问题生成时间、问题ID、问题状态、问题备注

    2)侧重于质量管理者了解问题全貌

    2. 功能说明

    2.1 检测任务结果概要

    1)进入「数据转换」节点,支持在画布中添加「检测结果输入」算子。如下图所示:

    各设置项介绍如下表所示:

    配置项
    说明
    数据来源

    支持设置设置参与预览的数据计算样本数

    详情请参见:定时任务计算样本量说明


    筛选条件1)可用于筛选的条件有:
    • 运行记录ID

    • 检测任务ID

    • 检测任务状态

    • 任务检测完成时间

    3.jpg

    2)支持添加多个条件,支持切换满足「所有/任一」筛选条件

    4.jpg


    2)点击「数据预览」,查看数据检测的相关信息。如下图所示:

    5.jpg

    检测任务结果概要数据的字段结构如下表所示:

    字段名称字段说明字段类型备注
    execute_id

    运行记录ID

    (每次运行会变化)

    字符串d557c3bf-0f18-4da3-a296-7a832a58c667
    work_id检测任务ID字符串7a35bfb7-7f91-429b-93e4-e174e75da392
    work_name检测任务名称字符串

    检测任务_ADS层空表检测

    work_description检测任务描述字符串

    自定义检测描述

    table_name检测表名称字符串fdl_test.detection_unique_auto
    target_name检测对象名称字符串

    ADS_TABLE_A

    rule_id检测规则ID字符串bc625c39a61004fe
    rule_name检测规则名称字符串ADS表不能为空
    rule_strength检测规则强度字符串
    rule_type检测规则分类字符串

    Consistency(一致性

    UNIQUENESS(唯一性)

    COMPLETENESS(完整性)

    VALIDITY(有效性)

    30.jpg

    rule_calc_type检测规则计算方式字符串

    示例:TABLE_DETAIL_COMPARISON

    (两表明细值对比)

    33.jpg

    rule_sql检测规则SQL字符串

    示例:select sleep(10) as a

    32.jpg

    err_sql

    检测异常查询SQL

    字符串

    检测异常查询SQL

    如果没有办法用SQL表示,就为NULL

    rule_pass_condition检测规则通过条件描述字符串

    示例:@{NULL_COUNT}==0

    (NULL值个数==0)

    29.jpg

    rule_calc_result_value检测规则计算结果值字符串

    示例:90

    27.jpg

    rule_state检测结果字符串

    PASS(检测通过)、NOT_PASS(强规则不通过)、FAILED(检测失败)、INTERRUPT(中断)、WEAK_NOT_PASS(弱规则不通过,5.0.7.3 及之后版本新增)

    18.jpg

    finish_time检测完成时间时间2025-12-04 10:31:30.525
    err_file_path检测异常文件路径字符串

    构成:

    • 表级:/assets/local_files/chk_err_detail_files/数据连接名称_数据库名.表名/检测任务ID/检测完成年_检测完成月_检测完成日/执行记录ID/检测规则ID.csv

    • 字段级:/assets/local_files/chk_err_detail_files/数据连接名称_数据库名.表名/检测任务ID/检测完成年_检测完成月_检测完成日/执行记录ID/检测规则ID_字段名.csv

    示例:

    assets/local_files/chk_err_detail_files/CRM_finer3_crm.1.yhxxjl/7a35bfb7-7f91-429b-93e4-e174e75da392/2026_05_26/c4af8a3b-a36c-4015-b9c5-a40ec85a9b17/bc625c39a61004fe__id.csv

    2.2 检测任务问题清单

    1)5.0.11.3 及之后版本,「检测结果输入」算子中,数据来源新增「检测任务问题清单」,用户可对问题清单中的数据进行处理输出。

    52.png

    各设置项说明如下表所示:

    设置项
    说明
    数据来源

    选择「检测任务问题清单」 

    样本设置说明请参见:定时任务计算样本量说明

    筛选条件

    可进行筛选的对象:

     1779849323779880.png

    支持添加多个条件,支持切换满足「所有/任一」筛选条件

    2)点击「数据预览」,结果如下图所示:

    54.png

    字段名称
    类型说明
    problem_idVARCHAR(255)问题记录 ID
    execute_idVARCHAR(50)检测执行记录 ID
    work_idVARCHAR(50)检测任务 ID
    connection_nameVARCHAR(255)数据连接名称
    connection_typeVARCHAR(50)数据连接类型
    detection_tableVARCHAR(500)检测表
    detection_objectVARCHAR(1000)检测对象;表级规则保存表名,字段级规则保存字段名
    rule_idVARCHAR(50)规则 ID
    rule_nameVARCHAR(255)规则名称
    rule_strengthVARCHAR(20)规则强度枚举编码
    rule_typeVARCHAR(20)规则类型枚举编码
    problem_statusVARCHAR(20)问题状态枚举编码
    problem_generate_timeTIMESTAMP底层存储为毫秒时间戳,结果集输出时转换为时间类型
    remarkVARCHAR(65536)备注

    3. 操作步骤

    场景:用户的定时任务每天 8 点运行后,将对目标表进行质量检测,现在希望检测到质量问题时,打通外部工单系统,将异常信息整理上报,再跟踪问题解决方案的落地处理。

    1)定时任务中,在数据加工后使用「调用检测任务」节点,对目标表进行数据质量检测。详情请参见:调用检测任务

    34.jpg

    2)连接「数据转换」算子。如下图所示:

    35.jpg

    3)在「数据转换」节点内拖入「检测结果输入」算子,设置筛选条件,筛选出对应检测任务的结果数据明细。如下图所示:

    36.jpg

    4)添加「DB表输出」算子,输出数据检测结果明细。如下图所示:

    注:用户可拖入字段设置算子,根据实际情况选择需要保留的字段。

    37.jpg

    5)运行定时任务,日志处出现执行成功信息表示任务成功运行,如下图所示:

    39.jpg

    可以看到数据库中多了检测任务明细表,每天运行的检测结果将会存在此表中。

    41.jpg



    附件列表


    主题: 数据开发-定时任务
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持