1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 5.0.6.3 |
|
1.2 应用场景
某业务系统或数仓数据可能存在不合规情况,用户可自定义规则定期检测数据质量。在检测报告中查看未通过数据质量检测的异常数据明细,助力快速定位问题数据,提升数据质量治理效率。
1.3 功能简介
配置检测规则时,部分规则支持记录异常明细数据。若检测不通过,支持在检测报告中查看异常明细数据。

2. 记录异常明细
部分规则支持记录异常明细,说明如下表所示:
| 规则类型 | 计算方式 | 记录异常明细内容 |
|---|---|---|
| 平台内置规则 | 表行唯一性检测 | 识别并记录表内重复行 |
| 字段值唯一性校验 | 识别并记录表内重复行 | |
| 字段NULL值/空字符串检测 | 识别并记录字段NULL值所在的完整行 | |
| 字段格式检测 | 识别并记录字段格式不匹配的值所在的完整行 | |
| 两表数据明细值对比 | 识别并记录两表不一致的数据 | |
| 任务自定义规则 | 行级筛选 | 支持自定义异常详情 SQL,查询结果为异常明细数据 |
| 全局自定义规则 | 行级筛选 | 支持自定义异常详情 SQL,查询结果为异常明细数据 |
2.1 平台内置规则
选择上表中的平台内置规则,勾选记录异常明细,支持设置明细的存储格式。如下图所示:

配置项说明见下表:
| 配置项 | 说明 |
|---|---|
| 列分隔符 | 列分隔符可选择:英文逗号,、制表符\t、英文分号;、管道符|、空格、ASCII字符、自定义
|
| 行分隔符 | 行分隔符可选择:
|
| 文本限定符 | 用于标识数据值的开始和结束,以避免数据中包含的特殊字符干扰文件的解析 可选择:
|
| 编码 | 指定导出文件的编码,编码可选择 GBK、BIG5、ISO-8859-1、UTF-8、UTF-16、EUC_JP、EUC_KR、CP850、GB2312
|
2.2 任务自定义规则&全局自定义规则
若选择「行级筛选」规则,支持自定义异常详情 SQL,查询结果为异常明细数据。明细存储格式说明见 2.1 节 。

3. 查看异常明细
3.1 查看异常明细数据
1)以 检测任务-校验数据是否合法 为例,在设置检测规则时,勾选「记录异常明细」。如下图所示:

2)运行后,若检测不通过,支持「查看异常明细」。如下图所示:

3)弹窗中将展示与规则不匹配的明细数据行,同时标记显示检测的字段。如下图所示:

若进行两表明细值对比,支持查看两表明细数据不一致的内容。如下图所示:

3.2 导出异常明细数据
在查看详情页面,支持导出单个检测规则的异常明细数据,导出内容与规则中配置的存储格式一致。如下图所示:

导出文件类型及文件名说明如下表所示:
| 类型 | 说明 |
|---|---|
多文件导出 (字段级规则) | 默认文件名:${任务名称}_${规则名称}_${库名称}_${表名称}_${检测完成时间}.zip 后缀固定,支持自定义文件名 |
单文件导出 (非字段级规则) | 默认文件名:${任务名称}_${规则名称}_${库名称}_${表名称}_${检测完成时间}.csv 后缀固定,支持自定义文件名 |
4. 异常明细存储
仅超管可查看并编辑「异常明细存储」配置。
1)点击「全局配置>异常明细存储」,进入文件存储配置页。如下图所示:

2)支持修改文件存储配置。如下图所示:

配置项说明见下表:
| 配置项 | 说明 |
|---|---|
| 数据源类型 | 默认为:服务器本地目录 |
| 文件夹地址 | 文件夹地址固定为:WEB-INF/assets/local_files/chk_err_detail_files/ |
| 异常数据保留时间上限 | 默认保留 7 天,支持调整异常数据保留时间 注:增大异常数据保留时间上限可能会增加存储占用,请注意 存储空间分配 |
| 异常数据存储行数上限 | 单个检测对象(表/字段)的单个规则检测不通过时,异常数据存储的最大行数。按检测对象粒度(表/字段)分别计算上限。 默认存储 100 行,支持自定义调整异常数据存储行数上限 注:增大异常数据保留时间上限可能会增加存储占用,请注意 存储空间分配 |
