提示：1. 概述
1.1 版本
| FineDataLink版本 | 功能变动 |
|---|---|
| 4.2.8.2 |
|
| 4.2.8.5 | 写入方式逻辑优化 |
1.2 应用场景
当前开发者在对接标准平台时，面临云上应用数据源对接不准确、效率低、运维成本高的问题。希望提供一种快速、精准、低运维的对接方案，简化开发流程，提升对接效率。
1.3 功能简介
通过云上代理转发+解析方案，以定时任务方式对接应用数据源，简化数据获取流程，解决多源异构数据整合的问题，降低企业在数据开发环节的时效性成本，并提供统一的任务管理和监控，助力企业快速连接和使用分散在各系统/平台的数据，实现数据驱动的业务分析与决策。
2. 前提条件
1）需要先配置定时管道来源端、目标端的数据连接；定时管道适配的数据源请参见：定时管道支持的数据源
2）用户需注册「定时管道」功能点才能使用定时管道功能。
3）用户若想新建定时管道任务，需要有定时管道的管理权限，详情请参见：定时管道任务管理权限
4）定时管道模块受 负载分配 功能限制，用户需要调整定时管道模块的内存分配、并发控制才能正常使用定时管道功能。
3. 操作步骤
3.1 新建定时管道任务
进入 FineDataLink 工程后，点击「数据管道>定时管道」，可新建定时管道任务。设置定时管道任务名称、所属目录后，点击「确定」按钮即可。如下图所示：
3.2 选择数据来源和数据去向
选择定时管道任务的来源端、目标端。如下图所示：
注：定时管道任务适配的来源端、目标端请参见：定时管道支持的数据源
3.3 添加表
1）点击「添加表」按钮，可在搜索框中输入表名称，快速选表，最后点击「处理表」按钮。如下图所示：
支持模糊搜索表名称。
下拉框中只展示当前任务未选择的表。
最多支持选择 300 张表。
2）用户可设置子表输出方式（若来源表包含子表）、同步起点。如下图所示：
| 设置项 | 说明 |
|---|---|
| 设置项出现场景 | 1）若来源表为全量表、无子表，则无法设置同步起点、子表处理 2）若来源表为全量表、有子表，则无法设置同步起点 3）若来源表为增量表、无子表，支持设置同步起点 4）若来源表为增量表、有子表，则可设置同步起点、子表处理 |
| 同步起点 | 1）默认值为当前日期前七天的日期值（粒度精确到秒） 2）为定时管道任务首次运行时每个表的同步起点 每次一个增量表同步成功后断点位置就会更新到最新位置，一个增量表同步失败则不更新断点位置（更新到失败前成功写入的位置），不同表之间相互不影响 注：全量表不会更新断点位置 注：建议首次同步拉取近一周的数据验证一下，没有问题再在运行时指定更早的起始时间进行同步 |
| 子表处理 | 以字段输出： 1）最终输出效果：目标表为一张，包含「主表所有字段」+「一个包含子表数据的JSON字段」 以子表输出： 1）最终输出效果：目标表为多张，主表内容和子表内容单独输出；主表仅同步主表字段，子表同步主表的主键字段+子表所有字段 2）子表的表类型跟随主表 3）若删除主表，子表一起被删除，不支持单独删除子表 注：以子表输出后，输出的子表数据可通过主表的主键进行关联 |
| 表类型 | 可对表类型进行筛选
|
| 批量操作 | 支持批量设置表的同步起点、子表处理；支持批量删除来源表
|
3.4 字段映射
添加完表后，界面如下图所示：
注：通用配置-自动建表配置、通用配置-字段映射规则 对定时管道任务生效。
| 序号 | 说明 |
|---|---|
| 1 | 添加表后，此处显示总表数+子表数（若没有子表，不显示） |
| 2 | 可对目标表的配置情况、表建立方式进行筛选。如下图所示：
|
| 3 | 点击后，出现「删除」按钮，可删除主表；子表不支持单独删除 |
| 4 | 可选择同名映射、同行映射。详情请参见：数据同步-数据去向与映射 |
| 5 | 选中主表后，点击「表处理」按钮后，界面如下图所示：
|
| 6 | 目标表建立方式：已存在表、自动建表 注1：目标表建表方式建议选择「自动建表」 注2：若目标表为「已存在表」&来源表存在主键，目标表中主键需要与来源表中主键一一对应，否则同步可能会出错或者同步速度较慢 注3：来源表同步时，会同步一些系统字段帮助排查，若用户不需要，可取消映射 |
| 7 | 可对目标表的映射情况进行筛选：
|
| 8 | 目标表选择「自动建表」时，才显示「手动建表」功能。详情请参见：数据同步-数据去向与映射 |
| 9 | 点击「批量操作」按钮后，可对来源表批量修改同步起点、子表处理方式；可批量修改目标表建立方式；可批量删除来源表
|
| 10 | 支持为目标表添加备注 |
| 11 | 来源表-子表：
非来源表-子表：
来源表的系统字段被标记显示；当来源表没有主键时，系统字段标记为主键，不可取消映射 |
| 12 | 目标表为自动建表： 若目标表选择「自动建表」，定时管道任务运行成功后，仍为「自动建表」 1）来源表不是子表
2）来源表为子表
目标表为已存在表： 来源表为子表：
|
3.5 写入方式
写入方式界面如下图所示：
注 1：写入方式不支持修改。
注 2：4.2.8.4 及之前版本的写入方式说明见：历史版本。
| 场景 | 说明 |
|---|---|
| 根据来源表主键，生成主键映射行确定数据唯一性 显示内容：
|
| 来源表有主键，目标表主键与来源表主键未建立映射 | 显示内容：
|
| 来源表无主键，目标表有主键 | 显示内容：
|
| 来源表、目标表都没有主键 | 显示内容：
|
| 来源表无主键，子表的写入 | 根据来源表的等值字段（主表主键字段）生成映射行，作为目标表数据清空再写入的依据 显示内容：
|
3.6 保存&手动运行
1）点击下方「保存」按钮即可。
注：若新建的定时管道任务没有保存，直接点击「返回」按钮，任务状态记录为草稿态，下次点击任务进入新建页面。
2）在定时管道任务详情页，点击「运行所有表」按钮。如下图所示：
3）运行成功后，生成 4 张目标表。
以字段输出目标表：
以子表输出目标表：
主表数据：
其中一张子表数据：
4.2.8.2 及之后版本，子表单独输出且对应的目标表为自动建表时，等值更新的字段会创建索引。如下图所示：
3.7 任务控制
在定时管道任务详情页，点击「任务控制」按钮，可为定时管道任务设置容错机制、结果通知、日志等级。
3.7.1 容错机制
可为定时管道任务设置单表脏数据阈值、失败重试。如下图所示：
| 设置项 | 说明 |
|---|---|
| 单表脏数据阈值 | 应用场景： 数据同步允许一定的容错，比如字段类型、长度不匹配、主键冲突等等问题，可以设置产生的脏数据上限，达到上限则自动终止表同步 功能效果： 用户设置脏数据阈值 1000 条，当某张表从第一次同步到目前为止脏数据达到 1000 条后，会终止该表的同步 功能简介： 默认 1000 条，最大值为1w 超出阈值仅该表同步失败，不影响其他表 |
| 失败重试 | 失败重试与报错逻辑： 1）任务读取、任务写入异常时（比如源端连接失败、目标端连接失败，这类会导致所有表同步失败的问题）：
2）当任务层级没有异常，单表出现异常时：
|
3.7.2 结果通知
可将任务运行结果通知给用户。如下图所示：
通知内容：
| 通知选项 | 通知条件 | 通知内容 |
|---|---|---|
| 任务同步异常（结果通知按钮若开启，该选项必勾选） | 任务构建失败 | 标题： [定时管道] 任务 #jobname# 构建失败 内容： 定时管道任务 #jobname# 构建失败，本次同步开始时间为#start_time# ，结束时间为#finish_time# ，请前往【运维中心】-【定时管道】-【运行记录】查看 |
| 任务同步结束，存在表同步异常（包括同步是失败和中止） | 标题： [定时管道] 任务 #jobname# 运行结束，存在异常表同步 内容： 定时管道任务 #jobname# 运行结束，本次同步开始时间为#start_time# ，结束时间为#finish_time# ，x张表同步出现异常，y张表成功同步，请前往【运维中心】-【定时管道】-【运行记录】查看 | |
| 任务同步成功 | 任务同步结束，所有表同步无异常 | 标题： [定时管道] 任务 #jobname# 运行结束，无异常 内容： 定时管道任务 #jobname# 运行结束，本次同步开始时间为#start_time# ，结束时间为#finish_time# ，x张表全部成功同步，详情请前往【运维中心】-【定时管道】-【运行记录】查看 |
| 脏数据汇总信息 | 任务同步结束，捕获搭配脏数据 | 标题： [定时管道] 任务 #jobname# 运行结束，存在脏数据 内容： 定时管道任务 #jobname# 运行结束，本次运行累计捕获脏数据x条，请前往【运维中心】-【定时管道】-【运行记录】查看 |
通知渠道：
支持通知渠道：平台用户、钉钉、飞书、企业微信、邮件、短信。
1）平台/邮件/短信说明
当通知渠道为短信/邮件/平台渠道时：基于平台体系配置通知对象，通知对象可选择平台用户、部门、角色，三者取并集。
通知渠道选择短信/邮箱时，「自定义收件人」与「平台用户组」不能同时为空；其中，「自定义收件人」不支持引用参数。
通知渠道选择短信/邮箱时，「平台用户组」中选择了 A 用户，自定义收件人中也设置了 A 用户，不做重复通知。
2）钉钉/飞书/企业微信设置说明
通知渠道选择「客户端」时，可设置通知渠道为钉钉群机器人/飞书群机器人/企业微信群机器人。
注：一个通知渠道中，Webhook 地址不支持填写多个。
钉钉群机器人 Webhook 地址：可参考 自定义机器人接入
飞书群机器人 Webhook 地址：自定义机器人使用指南
企业微信群机器人 Webhook 地址：添加群机器人步骤如下图所示，机器人添加成功的提示页面上会有 webhook 地址：
| 点击展开更多 |
|
3.7.3 任务属性
可为定时管道任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。
如下图所示：
详情请参见：配置管道任务-管道控制 文档的 2.4 节内容。
3.8 定时调度
在定时管道任务详情页，点击「定时调度」按钮，可为定时管道任务设置执行频率。如下图所示：
详细说明请参见：定时调度
注：一个定时管道任务只能添加一个定时调度。
4. 定时管道任务运维
| 分类 | 简介 | 文档 |
|---|---|---|
| 单个定时管道任务管理 | 移动、重命名、删除管道任务 编辑、删除、运行定时管道任务 | 管理定时管道任务 |
| 查看定时管道任务的配置详情、运行记录 | 定时管道任务配置/运行详情说明 | |
| 介绍定时管道任务运行流程与状态 | 定时管道任务状态、表状态说明 | |
| 批量定时管道任务运维 | 可根据任务状态、任务名称、触发方式、是否有脏数据、是否有异常表、运行记录时间筛选运行记录，查看任务运行情况 | 定时管道任务运维-运行记录 |
| 可查看定时管道任务的配置信息，支持为定时管道任务设置定时调度、任务控制，支持编辑、删除定时管道任务 | 定时管道任务运维-任务管理 |
上一篇：定时管道概述
