历史版本5 :配置管道任务-管道控制 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

FineDataLink版本
功能变动
4.0.27脏数据阈值由某个任务在某次开始运行到结束运行的区间阈值变为任务自建立至今整体阈值
4.0.28

「结果通知」中:

  • 新增钉钉、飞书、企业微信通知渠道

  • 短信/邮件/平台渠道:基于平台体系配置通知对象,通知对象可选择平台用户、部门、角色,三者取并集

设置来源表目标表映射关系后,即可对管道任务进行任务执行控制。

2. 操作步骤编辑

2.1 设置脏数据阈值

数据同步允许一定的容错,比如字段类型、长度不匹配、主键冲突等等问题,可以设置产生的 脏数据上限,达到上限则自动终止管道任务。

用户设置脏数据阈值1000条,当某次任务运行期间脏数据达到1000条后,任务会异常中止;脏数据阈值的定义是,某个任务自建立至今的整体阈值。

注1:限制最多10w行,且重启任务后,会重置阈值统计。

注2:若需要对产生的脏数据进行处理,详情参见:脏数据处理

2.2 设置失败重试

若管道任务由于当时的网络波动或者其他原因,运行中断,过段时间网络即可恢复正常,希望管道任务可自动重新运行。可在「失败重试」中设置重跑次数和间隔时间。

设置项
说明
重跑次数默认值为 3 次,最大值为 10 次
间隔时间默认值为 2 分钟,最大值为 60 分钟

「失败重试」逻辑说明

  • 若全量同步未完成,会从头全量同步;若全量同步已完成,会从断点开始;即全量阶段没有断点,只有增量阶段有断点同步。

  • 管道任务只要重新运行了,都是按第一次开始重新计算。

2.3 设置结果通知

可设置当任务异常时的通知。如下图所示:

注1:结果通知中勾选源表结构变化相关介绍详情参见:数据管道-同步源表结构变化

注2:单个管道任务失败的通知限制为 10s 一次。


1691978269787859.png

2.3.1 平台/邮件/短信说明

  • 当通知渠道为短信/邮件/平台渠道时基于平台体系配置通知对象,通知对象可选择平台用户、部门、角色,三者取并集。

  • 通知渠道选择短信/邮箱时,自定义收件人平台用户组不能同时为空;其中,「自定义收件人」不支持引用参数

  • 通知渠道选择短信/邮箱时,平台用户组」中选择了 A 用户,自定义收件人中也设置了 A 用户,不做重复通知。

2.3.2 钉钉/飞书/企业微信设置说明

通知渠道选择客户端时,可设置通知渠道为钉钉群机器人/飞书群机器人/企业微信群机器人

注:一个通知渠道中,Webhook 地址不支持填写多个。

1691978891790103.png

钉钉群机器人 Webhook 地址:可参考 自定义机器人接入

飞书群机器人 Webhook 地址:自定义机器人使用指南

企业微信群机器人 Webhook 地址:添加群机器人步骤如下图所示,机器人添加成功的提示页面上会有 webhook 地址:

1691978928636271.png

3. 后续步骤编辑

详情请参见:配置管道任务 3.7节