1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 5.0.0.1 | - |
1.2 应用场景
场景1：来源表中大量的表、字段都有同样的数据问题，需要统一设置清洗规则，将值匹配后替换；
场景2：来源表敏感信息字段需要脱敏、加密处理，输出到下游数据表中。
1.3 功能说明
支持在「数据管理>清洗规则」下创建、管理全局清洗规则，包含替换、加解密、公式规则。
设置的清洗规则可以在「数据开发」的「值替换」算子中引用。
2. 前提条件
3. 功能说明
3.1 定义全局清洗规则
| 属性 | 说明 |
|---|---|
| 清洗规则名称 | - |
| 规则类型 |
当定义替换配置时，类型为完全匹配和部分匹配。支持清洗文本、数值类型字段，统一输出为「文本」类型。 完全匹配： 当原值与匹配条件完全相同时，方可匹配到，例如：原值为“ABC”，完全匹配自定义字符“ABC”，则可匹配；完全匹配自定义字符“A”，则无法匹配。 原值支持写正则表达式进行值匹配，原值文本框输入校 原值可选：自定义字符、空字符串、NULL值； 替换值可选：自定义字符、空字符串、NULL值；
部分匹配： 当原值与匹配条件有部分相同时，即可匹配到 例如：原值为“ABC”，部分匹配自定义字符“A”，则可匹配。 原值可选：自定义字符、正则表达式 替换值可选：自定义字符、空字符串
|
加解密：仅支持清洗单列的“文本”类型字段，统一输出为“文本”类型 函数名称可选：AES加密、AES解密、MD5加密、SHA1加密
| |
仅支持单列运算，输入或输出的字段类型由公式配置定义 支持的公式详情参见：新增计算列支持的函数 注：可使用@[column]作为字段名占位符，应用规则时，@[column]可自动替换为字段名。
| |
| 清洗测试 | 设置的清洗规则可在右侧使用清洗测试进行调试，查看规则是否设置正确。
|
3.2 使用全局清洗规则
设置好的清洗规则可在「数据开发」的「值替换」算子中引用。
替换规则可以对单个值替换任务新建，也可以引用全局清洗规则，如下图所示：
若使用的是加解密规则或者公式规则，则只能引用全局清洗规则，如下图所示：
上一篇：检测任务-校验联合主键唯一性
