数据管道是FineTube中的重要模块,旨在提供稳定、高效的数据同步功能。
1、背景
面对各行各业对数据的应用,数据处理会有很多的需求,其中包括能够快速配置大量数据表的原样同步任务,能够满足数据实时同步的时效性要求高的场景。
一句话概括:
用户需要把某一个或多个 [数据源] 的数据迁移到一个或多个 [目标库],此时用户可通过创建 [数据管道] 在系统实现数据迁移的工作。
2、架构概述
将数据源的大量的数据传递给中间件(Kafka)进行收集,减少源数据库的压力,再将中间件收集到的数据,发送给目标数据库。
3、典型场景
全库数据增量/全量实时同步:需要实时全库同步mysql和oracle数据至FD数据仓库,三个数据源共一千多张表;
4、使用限制
由于数据管道是基于数据库日志进行的数据同步任务,所以数据库类型、版本的日志会有部分差别,目前所支持的版本如下所示:
关于源数据库:
数据库类型 | 备注 |
MySQL |
|
Oracle |
|
SQL Server |
|
具体配置等详情参考: 数据源支持范围
关于目标数据库:
数据库类型 | 备注 |
FineData |
|
GreenPlum |
|
SQL Server |
|
Oracle |
|
5、模块介绍
5.1 任务列表
数据管道支持 多个数据源、多个目标库的 原样实时同步功能,如下图所示,支持创建管道任务、启动和暂停任务、查看任务详情以及删除该任务。