1. 概述编辑
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 5.0.6.3 |
|
1.2 应用场景
某业务系统或数仓数据可能存在不合规情况，用户可自定义规则定期检测数据质量。在检测报告中查看未通过数据质量检测的异常数据明细，助力快速定位问题数据，提升数据质量治理效率。
1.3 功能简介
配置检测规则时，部分规则支持记录异常明细数据。若检测不通过，支持在检测报告中查看异常明细数据。
2. 记录异常明细编辑
部分规则支持记录异常明细，说明如下表所示：
| 规则类型 | 计算方式 | 记录异常明细内容 |
|---|---|---|
| 平台内置规则 | 表行唯一性检测 | 识别并记录表内重复行 |
| 字段值唯一性校验 | 识别并记录表内重复行 | |
| 字段NULL值/空字符串检测 | 识别并记录字段NULL值所在的完整行 | |
| 字段格式检测 | 识别并记录字段格式不匹配的值所在的完整行 | |
| 两表数据明细值对比 | 识别并记录两表不一致的数据 | |
| 任务自定义规则 | 行级筛选 | 支持自定义异常详情 SQL，查询结果为异常明细数据 |
| 全局自定义规则 | 行级筛选 | 支持自定义异常详情 SQL，查询结果为异常明细数据 |
2.1 平台内置规则
选择上表中的平台内置规则，勾选记录异常明细，支持设置明细的存储格式。如下图所示：
配置项说明见下表：
| 配置项 | 说明 |
|---|---|
| 列分隔符 | 列分隔符可选择：英文逗号,、制表符\t、英文分号;、管道符|、空格、ASCII字符、自定义
|
| 行分隔符 | 行分隔符可选择：
|
| 文本限定符 | 用于标识数据值的开始和结束，以避免数据中包含的特殊字符干扰文件的解析 可选择：
|
| 编码 | 指定导出文件的编码，编码可选择 GBK、BIG5、ISO-8859-1、UTF-8、UTF-16、EUC_JP、EUC_KR、CP850、GB2312
|
2.2 任务自定义规则&全局自定义规则
若选择「行级筛选」规则，支持自定义异常详情 SQL，查询结果为异常明细数据。明细存储格式说明见 2.1 节 。
3. 查看异常明细编辑
3.1 查看异常明细数据
1）以 检测任务-校验数据是否合法 为例，在设置检测规则时，勾选「记录异常明细」。如下图所示：
2）运行后，若检测不通过，支持「查看异常明细」。如下图所示：
3）弹窗中将展示与规则不匹配的明细数据行，同时标记显示检测的字段。如下图所示：
若进行两表明细值对比，支持查看两表明细数据不一致的内容。如下图所示：
3.2 导出异常明细数据
在查看详情页面，支持导出单个检测规则的异常明细数据，导出内容与规则中配置的存储格式一致。如下图所示：
导出文件类型及文件名说明如下表所示：
| 类型 | 说明 |
|---|---|
多文件导出 （字段级规则） | 默认文件名：${任务名称}_${规则名称}_${库名称}_${表名称}_${检测完成时间}.zip 后缀固定，支持自定义文件名 |
单文件导出 （非字段级规则） | 默认文件名：${任务名称}_${规则名称}_${库名称}_${表名称}_${检测完成时间}.csv 后缀固定，支持自定义文件名 |
4. 异常明细存储编辑
仅超管可查看并编辑「异常明细存储」配置。
1）点击「全局配置>异常明细存储」，进入文件存储配置页。如下图所示：
2）支持修改文件存储配置。如下图所示：
配置项说明见下表：
| 配置项 | 说明 |
|---|---|
| 数据源类型 | 默认为：服务器本地目录 |
| 文件夹地址 | 文件夹地址固定为：WEB-INF/assets/local_files/chk_err_detail_files/ |
| 异常数据保留时间上限 | 默认保留 7 天，支持调整异常数据保留时间 注：增大异常数据保留时间上限可能会增加存储占用，请注意 存储空间分配 |
| 异常数据存储行数上限 | 单个检测对象（表/字段）的单个规则检测不通过时，异常数据存储的最大行数。按检测对象粒度（表/字段）分别计算上限。 默认存储 100 行，支持自定义调整异常数据存储行数上限 注：增大异常数据保留时间上限可能会增加存储占用，请注意 存储空间分配 |