定时任务脏数据处理说明

定时任务运行时若遇到脏数据，任务会报错并终止。本文说明如何查看脏数据产生的原因及如何处理脏数据。

注：实时管道任务的脏数据说明请参见：实时管道任务处理脏数据

1）与目标字段配置不匹配而无法写入的数据（目标字段长度/类型不匹配、目标字段缺失、违反目标字段非空约束等）。

2）当写入方式-主键冲突策略为「主键相同，记录为脏数据」时，主键冲突的数据将被视为脏数据。

1）定时任务运行时，若存在脏数据，日志中将会报错。如下图所示：

注：建议将 日志等级 设置为 INFO，日志信息会更加详细。

「统计」Tab页下，可看到脏数据具体条数，点击条数，可看到错误类型和错误原因。如下图所示：

2）用户若想查看到所有脏数据的信息，可到%FDL_HOME%\logs\fanruan.log文件中进行查看。

3）用户若想遇到脏数据就通知给指定用户，可在结果通知中勾选「脏数据通知」按钮。如下图所示：

详情请参见：任务控制-结果通知

4.1 忽略脏数据

若用户希望任务具有一定容错性，即遇到脏数据任务继续运行，不进行报错，运行状态为成功，且脏数据不写入到目标表中（正常的数据会顺利写入到目标表中），可设置脏数据阈值。如下图所示：

详情请参见：任务控制-容错机制

注：若不配置「脏数据容忍」，只要遇到脏数据就会导致任务失败。

若脏数据条数未超过阈值（最大可设置为10000），日志信息如下：

脏数据条数超出脏数据阈值后，任务会报错。

4.2 脏数据处理后写入到目标表

用户若希望脏数据写入到目标表，需要根据日志排查脏数据出现原因，修正后重新运行任务或者 重试任务

产生脏数据后，重试任务的处理场景：