数据管道概述- FineDataLink帮助文档

文档创建者：Roxy

历史版本：61

最近更新：Wendy123456 于 2024-07-02

1. 概述

1.1 应用场景

企业在构建数仓和中间库时，由于业务数据量级较大，如果使用数据同步批量定时同步数据很难做到高性能的增量同步，若使用清空目标表再写入数据的方式时，还会面临目标表一段时间不可用、抽取耗时长等问题。

因此希望能在数据库数据量大或表结构规范的情况下，实现高性能的实时数据同步。

1.2 功能说明

支持对数据源进行单表、多表、整库、多对一数据的实时全量和增量同步，可以根据数据源适配情况，配置实时同步任务。如下图所示：

1.3 实现原理

FDL 监听数据管道来源端的数据库日志变化，利用 Kafka 作为数据同步中间件，暂存来源数据库的增量部分，进而实现向目标端实时写入数据的效果。

1.4 断点续传功能说明

若管道任务失败，支持断点续传：若全量同步未完成，会从头全量同步；若全量同步已完成，会从断点开始。

断点续传示例：

管道任务在 03-21 日读取了数据，03-23 日停掉，03-27 日启动，03-23 到 03-27 日的数据会同步过去。

1.5 数据管道与数据开发的区别

详情请参见：数据管道与数据开发区别

1.6 数据管道并发数说明

请参见：数据管道运维指导

2. 使用限制

管道任务仅支持在独立部署环境下使用。
管道任务不支持同步视图和索引。

3. 功能概述

功能

描述

数据源

实时同步支持多种数据源，可以将多种来源端及目标端数据源搭配组成同步链路进行数据实时同步。数据管道支持的数据源请参见：数据管道支持的数据源类型

同步场景

同步对象说明：

同步对象

说明

单表/多表

支持单表、多表实时同步

整库

支持一次性配置一个实例下多个库的多个表

单个任务限制最多选取 5000 张表，达到限制时不允许新增选择

多对一

4.1.8.1 及之后版本，支持将多张结构相同的源表数据同步到一张目标表中，取所有源表字段的交集作为分组表的字段

同步类型说明：

详情请参见：同步类型

存量+增量同步：先对所有存量数据完成同步，随后持续同步新增的变化数据（增/删/改）
增量：任务仅包含增量阶段，任务初次运行时，将按照配置的起始时间开始进行增量同步

任务配置

1）任务配置前，需要先准备数据库环境、管道任务环境。详情请参见：数据管道使用说明文档的第二章、第三章内容

2）在 FDL 中配置管道任务时，步骤简单，无需编写代码；功能丰富。详细说明如下：

步骤	亮点
选择数据来源	选择来源表时，支持搜索表名，点击表名即能选中源表支持快速选表功能，可批量选择多表
选择数据去向	可设置目标表执行物理删除（实际删除数据）还是逻辑删除（不实际删除数据，只是标记删除数据）同步时可标记时间戳，记录数据在数据库中实际新增和更新的时间（数据库所在时间）用户可根据实际需要选择是否开启同步源表结构变化功能支持设置无主键同步
表字段映射	目标表可选择已存在表、或自动建表支持批量修改表名、表建立方式支持筛选，筛选条件为：目标表配置是否有异常、目标表是否有主键、表建立方式、是否已映射的目标表字段、是否有异常的目标表字段 4.1.9.3 及之后版本，支持统一对多个使用同一数据连接的管道任务自定义字段类型映射规则，详情请参见：通用配置-字段映射规则
管道控制	支持设置脏数据上限，达到上限则自动终止管道任务支持设置失败重试，当管道任务由于当时的网络波动或者其他原因，运行中断，设置失败重试后可自动重新运行任务当任务异常时可进行通知，通知渠道支持：短信、邮件、平台消息、钉钉群机器人、飞书群机器人、企业微信群机器人可设置管道任务的日志等级，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看