1. 概述
1.1 版本
| FineDataLink版本 | 功能变动 |
|---|---|
| 4.0.26 | 「管道控制」步骤中，新增「失败重试」设置 |
| 4.2.1.2 | 新建管道任务时，日志等级默认设置为 INFO |
| 4.2.11.3 | 任务控制设置项，位置移动 通知内容划分为任务级和表级，任务级和表级异常重试、或异常中止时，都可以进行通知 |
| 历史版本更新 | ||||||||||
|
1.2 功能简介
设置来源表目标表映射关系后，即可对实时管道任务进行任务执行控制。如下图所示：
2. 功能说明
2.1 单表脏数据阈值
注1：限制最多10w行，且处理脏数据后，会重置阈值统计。
注2：若需要对产生的脏数据进行处理，详情参见：管道任务处理脏数据
管道任务中单表脏数据达到表脏数据阈值后，任务会异常中止。
2.2 设置失败重试
若实时管道任务、实时管道任务包含的表由于当时的网络波动或者其他原因，运行中断，过段时间网络即可恢复正常，希望可自动重新运行，可在「失败重试」中设置重跑次数和间隔时间。
| 设置项 | 说明 |
|---|---|
| 重跑次数 | 默认值为 3 次，最大值为 10 次 |
| 间隔时间 | 默认值为 2 分钟，最大值为 60 分钟 |
具体说明如下表所示：
| 级别 | 错误说明 | 开启失败重试效果 |
|---|---|---|
| 任务级 | 来源端网络异常 网络连接失败（仅包含网络问题 | 触发自动重试，重试逻辑： 1）若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始；即全量阶段没有断点，只有增量阶段有断点同步 2）管道任务只要重新运行了，都是按第一次开始重新计算 |
配置库异常 配置库读写失败（包含网络、字段、权限等所有会引起配置库读写失败的问题） | ||
消息队列异常 网络连接失败（仅包含网络问题） | ||
| 来源端非网络原因异常（各类源端日志异常问题） | 不支持失败重试功能 | |
| 其他非预期异常 | ||
| 表级 | 产生脏数据 包含任何因为目标端异常而没写进去数据的情况 | |
| 全量阶段脏数据达到阈值 | ||
| 增量阶段脏数据达到阈值 | 4.2.1.1 及之后版本，则按照配置自动触发脏数据重试（对脏数据进行重试），同时表状态变为「脏数据处理中」 |
2.3 结果通知
可设置当任务异常时的通知。如下图所示：
注1：结果通知中勾选源表结构变化相关介绍详情参见：数据管道-同步源表结构变化
注2：单个管道任务失败的通知限制为 10s 一次。
2.3.1 通知内容
4.2.1.1 及之后版本，任务或表失败重试时可进行通知。
| 通知项 | 通知时机 | 通知内容格式 |
|---|---|---|
| 任务异常重试 | 管道任务异常，进入第一次重试 | 标题： [实时管道] 任务 #jobname# 发生异常重试 内容： 实时管道任务 #jobname# 发生网络或其他因素导致的异常，正在进行重试，请及时关注并处理 |
| 任务异常中止 | 管道任务异常中止 | 标题： [实时管道] 任务 #jobname# 发生异常中止 内容： 实时管道任务 #jobname# 异常中止，可能是网络因素或其他导致任务无法继续运行的异常因素，请及时关注并处理 |
| 表同步异常重试 | 表同步时，出现异常，进入第一次重试 从识别到第一个表同步出现此情况开始，收集 3min 内具体相同情况的表同步对象，统计为 list 放到通知内容里 | 标题： [实时管道] 任务 #jobname# 发生表同步重试 内容： 实时管道任务 #jobname# 中存在写入异常的表同步对象，正在对进行重试写入，源表： #sourcetablename_list#，请及时关注 |
重试完成，表同步恢复正常 从识别到第一个表同步出现此情况开始，收集 3min 内具体相同情况的表同步对象，统计为list放到通知内容里 | 标题： [实时管道] 任务 #jobname# 表同步重试成功 内容： 实时管道任务 #jobname# 中源表： #sourcetablename_list# 重试完成，已正常恢复同步，请及时关注 | |
| 表同步异常中止 | 表异常中止 从识别到第一个表同步出现此情况开始，收集3min内具体相同情况的表同步对象，统计为list放到通知内容里 | 标题： [实时管道] 任务 #jobname# 发生表同步中止 内容： 实时管道任务 #jobname# 中存在异常中止的表同步对象，源表： #sourcetablename_list#，请及时关注并处理 |
| 源表结构变化 | 表同步时，源表发生表结构变化 | 标题： [实时管道] 任务 #jobname# 发生源表结构变化 内容： 实时管道任务 #jobname# 出现源表结构变化，源表 #tablename# 变化情况：#changetype#，在目标表应用情况：#applyresult#，请及时关注。 |
2.3.2 平台/邮件/短信说明
当通知渠道为短信/邮件/平台渠道时：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
通知渠道选择短信/邮箱时，「自定义收件人」与「平台用户组」不能同时为空；其中，「自定义收件人」不支持引用参数。
通知渠道选择短信/邮箱时，「平台用户组」中选择了 A 用户，自定义收件人中也设置了 A 用户，不做重复通知。
2.3.3 钉钉/飞书/企业微信设置说明
通知渠道选择「客户端」时，可设置通知渠道为钉钉群机器人/飞书群机器人/企业微信群机器人。
注：一个通知渠道中，Webhook 地址不支持填写多个。
钉钉群机器人 Webhook 地址：可参考 自定义机器人接入
飞书群机器人 Webhook 地址：自定义机器人使用指南
企业微信群机器人 Webhook 地址：添加群机器人步骤如下图所示，机器人添加成功的提示页面上会有 webhook 地址：
2.4 日志等级
可为实时管道任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。
如下图所示：
注：4.2.1.2 及之后版本，新建管道任务时，日志等级默认设置为 INFO。
1）输出的日志说明：管道任务：读写过程日志\异常和错误日志。
2）默认不开启，未开启时使用 全局设置的业务日志等级记录日志，全局日志等级默认为 WARN。
3）仅在管道未处于运行状态时可以配置，启动后生效。
4）日志级别可选择 ERROR、WARN、INFO。
日志级别大小排序（严重程度）：ERROR>WARN>INFO
日志详细程度排序：ERROR<WARN<INFO
| 日志级别 | 说明 |
|---|---|
| ERROR | 错误，异常情况导致不可用 |
| WARN | 警告，可能会出现问题，但是依然可用，属于告警 |
| INFO | 普通信息，用于记录运行状态或重要事件 |
5）调整单个管道任务的日志输出级别后，若修改了全局的日志级别，全局日志的级别不会影响手动修改过日志等级任务的级别。
上一篇：配置实时管道任务-同步配置
