历史版本2 :配置管道任务-管道控制 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

FineDataLink版本
功能变动
4.0.27脏数据阈值由某个任务在某次开始运行到结束运行的区间阈值变为任务自建立至今整体阈值

设置来源表目标表映射关系后,即可对管道任务进行任务执行控制。

2. 操作步骤编辑

2.1 设置脏数据阈值

数据同步允许一定的容错,比如字段类型、长度不匹配、主键冲突等等问题,可以设置产生的 脏数据上限,达到上限则自动终止管道任务。

注1:限制最多10w行,且重启任务后,会重置阈值统计。

用户设置脏数据阈值1000条,当某次任务运行期间脏数据达到1000条后,任务会异常中止;脏数据阈值的定义是,某个任务自建立至今的整体阈值。

注2:若需要对产生的脏数据进行重新同步,详情参见:脏数据重跑

若管道任务由于当时的网络波动或者其他原因,运行中断,过段时间网络即可恢复正常,希望管道任务可自动重新运行。可在「失败重试」中设置重跑次数和间隔时间。

设置项
说明
重跑次数默认值为 3 次,最大值为 10 次
间隔时间默认值为 2 分钟,最大值为 60 分钟

「失败重试」逻辑说明

  • 若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始;即全量阶段没有断点,只有增量阶段有断点同步。

  • 管道任务只要重新运行了,都是按第一次开始重新计算。

同时设置当任务异常时的通知,如下图所示:

注:结果通知中勾选源表结构变化相关介绍详情参见:数据管道-同步源表结构变化

3. 后续步骤编辑

详情请参见: