反馈已提交

网络繁忙

数据检测任务-异常明细

  • 文档创建者:Naya
  • 历史版本:5
  • 最近更新:Naya 于 2025-12-19
  •  1. 概述

    1.1 版本

    FineDataLink 版本功能变动
    5.0.6.3
    • 检测任务中新增「记录异常明细」配置

    • 单表检测报告中,支持查看异常明细

    • 检测任务全局配置中新增「异常明细存储

    1.2 应用场景

    某业务系统或数仓数据可能存在不合规情况,用户可自定义规则定期检测数据质量。在检测报告中查看未通过数据质量检测的异常数据明细,助力快速定位问题数据,提升数据质量治理效率。

    1.3 功能简介

    配置检测规则时,部分规则支持记录异常明细数据。若检测不通过,支持在检测报告中查看异常明细数据。

    22.png

    2. 记录异常明细

    部分规则支持记录异常明细,说明如下表所示:

    规则类型
    计算方式记录异常明细内容
    平台内置规则表行唯一性检测识别并记录表内重复行
    字段值唯一性校验识别并记录表内重复行
    字段NULL值/空字符串检测识别并记录字段NULL值所在的完整行
    字段格式检测识别并记录字段格式不匹配的值所在的完整行
    两表数据明细值对比识别并记录两表不一致的数据
    任务自定义规则行级筛选支持自定义异常详情 SQL,查询结果为异常明细数据
    全局自定义规则行级筛选
    支持自定义异常详情 SQL,查询结果为异常明细数据

    2.1 平台内置规则

    选择上表中的平台内置规则,勾选记录异常明细,支持设置明细的存储格式。如下图所示:

    12.png

    配置项说明见下表:

    配置项
    说明
    列分隔符

    列分隔符可选择:英文逗号,、制表符\t、英文分号;、管道符|、空格、ASCII字符、自定义

    13.png

    行分隔符

    行分隔符可选择:

    • CR+LF(在 Windows 系统中使用

    • LF(在 Unix、Linux 等系统中使用)

    • CR(在早期的 Mac OS 系统中使用)

    文本限定符

    用于标识数据值的开始和结束,以避免数据中包含的特殊字符干扰文件的解

    可选择:

    • 单引号

    • 双引号

    • ASCII字符

    编码

    指定导出文件的编码,编码可选择 GBK、BIG5、ISO-8859-1、UTF-8、UTF-16、EUC_JP、EUC_KR、CP850、GB2312

    14.png

    2.2 任务自定义规则&全局自定义规则

    若选择「行级筛选」规则,支持自定义异常详情 SQL,查询结果为异常明细数据。明细存储格式说明见 2.1 节 。

    19.png

    3. 查看异常明细

    3.1 查看异常明细数据

    1)以 检测任务-校验数据是否合法 为例,在设置检测规则时,勾选「记录异常明细」。如下图所示:

    15.png

    2)运行后,若检测不通过,支持「查看异常明细」。如下图所示:

    16.png

    3)弹窗中将展示与规则不匹配的明细数据行,同时标记显示检测的字段。如下图所示:

    17.png

    若进行两表明细值对比,支持查看两表明细数据不一致的内容。如下图所示:

    20.png

    3.2 导出异常明细数据

    在查看详情页面,支持导出单个检测规则的异常明细数据,导出内容与规则中配置的存储格式一致。如下图所示:

    18.png

    导出文件类型及文件名说明如下表所示:

    类型
    说明

    多文件导出

    (字段级规则)

    默认文件名:${任务名称}_${规则名称}_${库名称}_${表名称}_${检测完成时间}.zip 

    后缀固定,支持自定义文件名

    单文件导出

    (非字段级规则)

    默认文件名:${任务名称}_${规则名称}_${库名称}_${表名称}_${检测完成时间}.csv  

    后缀固定,支持自定义文件名

    4. 异常明细存储

    仅超管可查看并编辑「异常明细存储」配置。

    1)点击「全局配置>异常明细存储」,进入文件存储配置页。如下图所示:

    5.png

    2)支持修改文件存储配置。如下图所示:

    21.png

    配置项说明见下表:

    配置项
    说明
    数据源类型
    默认为:服务器本地目录
    文件夹地址文件夹地址固定为:WEB-INF/assets/local_files/chk_err_detail_files/
    异常数据保留时间上限

    默认保留 7 天,支持调整异常数据保留时

    注:增大异常数据保留时间上限可能会增加存储占用,请注意 存储空间分配

    异常数据存储行数上限

    单个检测对象(表/字段)的单个规则检测不通过时,异常数据存储的最大行数。按检测对象粒度(表/字段)分别计算上限。

    默认存储 100 行,支持自定义调整异常数据存储行数上限

    注:增大异常数据保留时间上限可能会增加存储占用,请注意 存储空间分配


    附件列表


    主题: 数据管理
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持