1. 概述编辑
1.1 应用场景
企业在构建数仓和中间库时，由于业务数据量级较大，如果使用 数据同步 批量定时同步数据很难做到高性能的增量同步，若使用清空目标表再写入数据的方式时，还会面临目标表一段时间不可用、抽取耗时长等问题。
因此希望能在数据库数据量大或表结构规范的情况下，实现高性能的实时数据同步。
1.2 实现原理
详情请参见：实时管道&实时任务架构与原理
1.3 功能简介
实时管道任务可将源端数据库的单张表、多张表（最多5000张表）实时同步到目标端（原表原样同步，不能对数据进行处理）。
实时管道任务运行后，一般情况下无需再次启动，当源端数据发生增删改或者源端表结构发生变化时（源表新增字段、删除字段、修改字段名称等），目标端可自动实时同步变化。
当实时管道任务意外中止后，支持断点续传：若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始。
断点续传示例：实时管道任务在 03-21 日读取了数据，03-23 日停掉，03-27 日启动，03-23 到 03-27 日的数据会同步过去。
优势：可实时将大规模数据自动同步到目标表中。
1.4 与其他功能模块区别
提示:2. 使用限制&注意事项编辑
2.1 使用限制
管道任务不支持同步视图和索引。
新建实时管道任务需要有某文件夹 OR 所有实时管道任务的管理权限。详情请参见：管道任务管理权限
同一个管道任务只能配置一个数据源的多对一（使用 分组表 功能）和多对多，如果是不同数据源，需要配置多个数据管道任务。
单个任务限制最多选取 5000 张表，达到限制时不允许新增选择
2.2 注意事项
不建议用户使用数据管道同步 longtext 类型的字段，否则 Kafka 会有问题，运行效率也会有问题。
不建议来源表字段名称中包含空格，否则任务启动将会报错。
3. 能力说明编辑
| 能力 | 说明 | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 支持的数据源 | 实时同步支持多种数据源，可以将多种来源端及目标端数据源搭配组成同步链路进行数据实时同步。数据管道支持的数据源请参见：数据管道支持的数据源类型 | ||||||||||||||||||
| 同步场景 | 同步对象说明：
同步类型说明： 详情请参见：同步类型
| ||||||||||||||||||
| 任务配置 | 1）任务配置前，需要先准备数据库环境、管道任务环境。详情请参见：数据管道使用说明 文档的第二章、第三章内容 2）在 FDL 中配置管道任务时，步骤简单，无需编写代码；功能丰富。详细说明如下：
| ||||||||||||||||||
| 任务运维 | 1）详情请参见：管道任务运维 4.2.11.3 及之后版本，优化表级和任务级编辑功能：
统一说明：
2）资源控制 管道任务需要占用内存和并发资源等，因此用户可能需要根据实际的使用情况进行任务调整 3）4.2.4.3 及之后版本，管道任务新建并启动后，在「管理系统>数据连接>实时采集任务」中自动新增 实时采集任务，对数据库日志解析进行管理 | ||||||||||||||||||
| 数据中心 | 4.1.6.1 及之后版本，可在 FDL 的 库表管理 功能中，查看、修改表数据（快速检查实时同步效果） 4.1.11.1 及之后版本，可查看管道任务中所使用数据表的血缘关系，详情请参见：血缘分析 | ||||||||||||||||||
| 其他 | 4.1.9.3 及之后的版本支持使用「回收站」进删除任务的还原、管理，详情请参见：回收站 4.1.6.3-4.2.11.3 版本，管道任务禁止被多人同时编辑；4.2.11.3 及之后版本，仅「草稿」状态的实时管道任务编辑时存在编辑锁限制。详情请参见：任务禁止被多人同时编辑 |
4. 使用流程编辑
详情请参见：「必看」实时管道任务配置指南
5. 实时管道任务运维编辑
注1：若工程中包含管道任务，关闭工程不建议使用 kill -9 pid 语句，会导致管道任务异常，建议使用 kill pid 语句。详情请参见：关闭或重启FineDataLink工程
注2：4.1.6.3 及之后版本，管道任务禁止被多人同时编辑。详情请参见：任务禁止被多人同时编辑
| 操作 | 参考文档 |
|---|---|
| 重命名、移动、复制、导出、删除管道任务 | |
| 管道任务迁移 | 管道任务导入导出 |
| 查看任务运行状况、查看日志、处理脏数据 4.2.11.3 之前版本，编辑管道任务： 注：修改范围有限，若某些设置项无法修改，可复制管道任务
4.2.11.3 及之后版本，编辑管道任务：
| 单个管道任务管理 |
| 想对所有管道任务进行统一的管理，比如停止任务、删除任务、检查任务运行状态、同步性能、对异常情况进行监控和处理、批量暂停任务等 | 管道任务运维 |
| 数据管道运维指导 |
| 记录数据管道相关信息的 FineDB 数据库表 | 数据管道 |
| 管道任务的查看、编辑、授权权限 | |
| 数据管道问题合集 | |
| 用户想了解某个管道任务是谁编辑的、编辑时间、断点相关信息等，FDL 工程内的 管道任务运维 无法满足需求 | BI仪表板展示管道任务信息 |
用户的管道任务实现上百张表的实时同步，且存在部分来源表和目标表的表名不同、多张来源表同步到一张目标表等情况，导致用户在管理来源表和目标表的对应关系时（例如重构任务）较为困难 管道任务的来源表在 FineDB 的 fine_dp_pipeline_task 表中记录 | 导出管道任务中来源表及对应的目标表信息 |