1. 概述
| FineDataLink版本 | 功能变动 |
|---|---|
| 4.0.26 | 「管道控制」步骤中，新增「失败重试」设置 |
| 4.0.27 | 脏数据阈值由某个任务在某次开始运行到结束运行的区间阈值变为任务自建立至今整体阈值 |
| 4.0.28 | 「结果通知」中：
|
| 4.1.1 | 可为管道任务单独设置日志输出级别 |
| 4.2.1.1 | 「脏数据阈值」改名为「表脏数据阈值」 通知内容中，可设置：当任务或表失败重试时，发出通知 管道任务中的表出现异常时，支持自动重试功能 |
| 4.2.1.2 | 新建管道任务时，日志等级默认设置为 INFO |
设置来源表目标表映射关系后，即可对管道任务进行任务执行控制。
2. 操作步骤
2.1 设置表脏数据阈值
数据同步允许一定的容错，比如字段类型、长度不匹配、主键冲突等等问题，可以设置产生的 脏数据上限，达到上限则自动终止管道任务。
用户设置脏数据阈值1000条，当某次任务运行期间脏数据达到1000条后，任务会异常中止；脏数据阈值的定义是，某个任务自建立至今的整体阈值。
注1：限制最多10w行，且重启任务后，会重置阈值统计。
注2：若需要对产生的脏数据进行处理，详情参见：脏数据处理
2.2 设置失败重试
若管道任务、管道任务包含的表由于当时的网络波动或者其他原因，运行中断，过段时间网络即可恢复正常，希望可自动重新运行，可在「失败重试」中设置重跑次数和间隔时间。
| 设置项 | 说明 |
|---|---|
| 重跑次数 | 默认值为 3 次，最大值为 10 次 |
| 间隔时间 | 默认值为 2 分钟，最大值为 60 分钟 |
「失败重试」逻辑说明：
1）若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始；即全量阶段没有断点，只有增量阶段有断点同步。
2）管道任务只要重新运行了，都是按第一次开始重新计算。
3）4.2.1.1 及之后版本，表状态处于「增量同步中」，且脏数据达到阈值时，如果任务开启了「失败重试」功能，则按照配置自动触发脏数据重试，同时表状态变为「脏数据处理中」。
任务或表支持重试的原因：
| 级别 | 错误说明 | 是否可触发失败重试 |
|---|---|---|
| 任务级 | 来源端网络异常 网络连接失败（仅包含网络问题 | 是 |
配置库异常 配置库读写失败（包含网络、字段、权限等所有会引起配置库读写失败的问题） | ||
消息队列异常 网络连接失败（仅包含网络问题） | ||
| 来源端非网络原因异常（各类源端日志异常问题） | 否 | |
| 其他非预期异常 | ||
| 表级 | 产生脏数据 包含任何因为目标端异常而没写进去数据的情况 | |
| 全量阶段脏数据达到阈值 | ||
| 增量阶段脏数据达到阈值 |
2.3 设置结果通知
可设置当任务异常时的通知。如下图所示：
注1：结果通知中勾选源表结构变化相关介绍详情参见：数据管道-同步源表结构变化
注2：单个管道任务失败的通知限制为 10s 一次。
2.3.1 通知内容
4.2.1.1 及之后版本，任务或表失败重试时可进行通知。
触发通知原因如下：
| 级别 | 错误说明 | 是否触发通知 |
|---|---|---|
| 任务级 | 来源端网络异常 网络连接失败（仅包含网络问题 | 是 重试提醒 |
配置库异常 配置库读写失败（包含网络、字段、权限等所有会引起配置库读写失败的问题） | ||
消息队列异常 网络连接失败（仅包含网络问题） | ||
| 来源端非网络原因异常（各类源端日志异常问题） | 是 任务直接异常中止 | |
| 其他非预期异常 | ||
| 表级 | 产生脏数据 包含任何因为目标端异常而没写进去数据的情况 | 否 未达到阈值表正常同步 |
| 全量阶段脏数据达到阈值 | 否 任务直接异常中止 | |
| 增量阶段脏数据达到阈值 | 是 重试提醒 |
2.3.2 平台/邮件/短信说明
当通知渠道为短信/邮件/平台渠道时：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
通知渠道选择短信/邮箱时，「自定义收件人」与「平台用户组」不能同时为空；其中，「自定义收件人」不支持引用参数。
通知渠道选择短信/邮箱时，「平台用户组」中选择了 A 用户，自定义收件人中也设置了 A 用户，不做重复通知。
2.3.3 钉钉/飞书/企业微信设置说明
通知渠道选择「客户端」时，可设置通知渠道为钉钉群机器人/飞书群机器人/企业微信群机器人。
注：一个通知渠道中，Webhook 地址不支持填写多个。
钉钉群机器人 Webhook 地址：可参考 自定义机器人接入
飞书群机器人 Webhook 地址：自定义机器人使用指南
企业微信群机器人 Webhook 地址：添加群机器人步骤如下图所示，机器人添加成功的提示页面上会有 webhook 地址：
2.4 设置日志等级
可为管道任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。
如下图所示：
注：4.2.1.2 及之后版本，新建管道任务时，日志等级默认设置为 INFO。
1）输出的日志说明：管道任务：读写过程日志\异常和错误日志。
2）默认不开启，未开启时使用 全局设置的业务日志等级记录日志，全局日志等级默认为 WARN。
3）仅在管道未处于运行状态时可以配置，启动后生效。
4）日志级别可选择 ERROR、WARN、INFO。
日志级别大小排序（严重程度）：ERROR>WARN>INFO
日志详细程度排序：ERROR<WARN<INFO
| 日志级别 | 说明 |
|---|---|
| ERROR | 错误，异常情况导致不可用 |
| WARN | 警告，可能会出现问题，但是依然可用，属于告警 |
| INFO | 普通信息，用于记录运行状态或重要事件 |
5）调整单个管道任务的日志输出级别后，若修改了全局的日志级别，全局日志的级别不会影响手动修改过日志等级任务的级别。
上一篇：配置管道任务-表字段映射
