1.1 版本

1.2 应用场景

管道任务中的表产生脏数据时，用户希望能通过界面快速定位分析脏数据，并对相关数据进行处理以保证管道任务正常运行。

1.3 功能简介

FDL 提供三种处理脏数据的策略：忽略脏数据、重试脏数据、重新同步。如下图所示：

1.4 脏数据定义

与目标字段配置不匹配而无法写入的数据（目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等）。

注：对于实时管道任务，主键冲突不会产生脏数据，主键相同的数据，新数据将覆盖旧数据。

2.1 管道任务详情页查看

1）点击具体管道任务，可在「管理活动」Tab下查看该任务产生的脏数据条数。如下图所示：

2）用户点击脏数据「筛选」按钮，可将产生脏数据的表筛选出来。如下图所示：

3）用户点击表右侧的脏数据条数，可查看具体脏数据信息。如下图所示：

2.2 FineDB表格中查看

fdl_pipe_dirty_record 表中，可查看脏数据信息。

注：脏数据明细展示和处理针对分组表的说明：暂时不允许对分组表进行整体的处理操作，所有处理操作在分组内的各表中进行。

注：设计实时管道任务时，支持设置 表脏数据阈值 ，单表脏数据达到表脏数据阈值后，任务才异常中止。

3.1 用户需知

3.1.1 脏数据事件记录逻辑

• 若在t1时间点，主键为A的数据产生了脏数据，t1以后再进行主键为A的写入时，如果写入成功，则清除主键A历史脏数据，如果写入失败，则仅保留主键A的最新一条脏数据。
  

• 若在t1时间点，主键为A的数据被更新为主键为B，则管道应拆解为两个事件进行顺序处理至目标端：Delete A，Insert B。

3.1.2 输出端为批量装载模式的制约

当输出端为批量装载模式时，此时一般会使用一个包括很多数据条数的大批次进行一次性提交数据到目标端，这类数据源可能无法识别到过程中哪些数据出现了脏数据，目前已有的支持批量装载的目标端具体分析如下：

1）GaussDB 200 支持两种写入模式，分别为copy和并行装载：

copy模式：

• 在全量阶段，当单批次提交失败后，会将这个批次的数据改为调用JDBC接口进行写入（目前单个批次1024条），JDBC写入时能获取到具体错误数据，进而实现脏数据明细展示，但是JDBC方式性能不佳；

• 在增量阶段，当单批次提交失败后，会将整个批次的数据记为脏数据（目前单个批次最大是5M，约合一般1万行内，具体行数与单条数据大小有关）；

并行装载（load）：

• 并行装载时，也是将单次任务内所有需要的数据进行一次性提交，但是并行装载提供接口可以查询具体错误数据，进而FineDataLink 也可以实现脏数据明细查询。

2）HIVE 的HDFS写入方式：

直接一次性写入到HDFS文件、完全无法获取明细错误数据，不支持脏数据管理；

3.2 处理单条/多条脏数据步骤说明

处理单条脏数据：

1）若需要对单条脏数据进行处理，则直接在选择指定数据表的脏数据，然后进行重试或者忽略操作即可。如下图所示：

2）若用户想在弹窗中重试这张表的所有脏数据，勾选时选择「全选所有」即可。如下图所示：

脏数据批量处理：

若需要对当前任务中全量脏数据或者是指定单表的脏数据进行批量处理，则选择指定的来源库数据表，可勾选任务中的单表或者多表，进行脏数据的忽略、重试或者重新同步。如下图所示：

3.3 三种处理策略说明

1）忽略脏数据、重试脏数据、重新同步含义说明如下表所示：

2）忽略脏数据、重试脏数据、重新同步三个按钮出现的场景如下表所示：

注1：当数据源是kafka ，不支持重新同步，且过期的脏数据若想重试，仅能通过全表重跑或手动插入脏数据后在管道处忽略脏数据。

注2：若任务为暂停或者中止状态，重新同步后，需要在下次启动时才会真正执行重新同步的逻辑。

若用户需要处理存量同步阶段产生的脏数据，可以导出明细数据，然后手动调整或者插入，如下图所示：