定时任务采样量与写入量说明

1.1 问题描述

用户常常有以下疑问：

• 同样的查询条件，节点中预览数据时，数据条数不一致。

• 在数据库中写 SQL 能预览出数据，但 FineDataLink 中「数据过滤」算子中预览时没有数据。

• 「数据比对」算子预览结果与实际结果不符，实际数据左右表是相同的，但「数据比对」算子显示新增。

• SparkSQL 计算结果只有 5000 条。

1.2 说明

「数据转换」的输入型算子后，接入的算子的预览结果，受输入型算子的「样本设置」功能控制；默认选择前 5000 条数据进行计算，但不会影响任务实际运行结果，详情可参见：定时任务数据量说明

定时任务运行后，用户往往会有以下疑问：

• 日志显示写入 170w 条，但目标表里只有 150w 条。

• 日志中数据读取条数与写入条数相差较大，是什么原因。

定时任务写入到目标表中的数据，不仅受到来源表数据的影响，还与写入方式、主键、脏数据有关。

1）定时任务运行过程中，若产生脏数据，脏数据是无法写入到目标表中的。详情请参见：定时任务脏数据处理说明

2）若未产生脏数据：

详情请参见：不同写入方式效果说明