历史版本23 :数据管道概述 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本说明

 FineDataLink 版本
功能变动
4.0.6支持Mysql 作为读取和写入数据源
4.0.18支持 Oracle18c、19c、Oracle RAC集群作为读取数据


查看历史版本更新
FineDataLink 版本功能变动
4.0.7

支持SQL Server作为读取和写入数据源

支持 Oracle 作为读取数据源

4.0.8支持 GaussDB 200 作为写入数据源
4.0.9支持 Oracle 、PostgreSQL 作为写入数据源
4.0.15支持Greenplum、Greenplum(并行装载)作为写入数据源


数据管道支持将多种输入及输出数据源进行单表或整库数据的实时同步,可以根据数据源的支持情况,配置管道任务。

本文为你介绍数据管道数据同步支持的数据源情况。

2. 约束限制编辑

数据管道功能仅支持在FineDataLink独立部署时使用。

3. 操作流程编辑

使用 FineDataLink 数据管道进行数据同步的操作流程如下:

1)数据源配置。在进行数据管道任务配置前,配置好需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库,详情参见:配置数据连接

2)数据源环境已准备完成:基于需要设置数据管道任务的数据源,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见本文第四节。

3)部署 Kafka 开源流处理平台作为中间件,详情参见:部署Kafka

4)若需要使用数据管道的用户不是超级管理员,则需要为对应用户分配数据管道的使用权限,详情参见:管道任务管理权限

5)完成上述操作即可配置数据管道任务:配置数据管道任务

4. 数据管道支持的数据源编辑

数据源
读取写入环境准备日志解析方式
MySQLMYSQL 5.6及以上的非只读数据库MYSQL 5.6及以上的非只读数据库

MySQL环境准备Binlog
SQL ServerSQL Server 2008 及以上企业版(Enterprise Edition), SQL Server 2016 SP1 及以上标准版(Standard)SQL Server2000、2005、2008、2012、2014、2016、2017SQL Server 环境准备CDC
Oracle Oracle 10g、11g、12c、18c、Oracle19c 、Oracle RAC集群


  • 不支持 CDB(CDB/PDB 模式的数据库),只支持 Non-CDB

Oracle 环境准备

读取数据限制请参阅:

数据管道-Oracle读取数据限制说明

LogMiner
GaussDB 200开发中GaussDB 200

PostgreSQLPostgreSQL 9.4及以上的单实例非只读数据库postgresql_9.4.7;9.5.0;PostgreSQL环境准备 wal2json
Greenplum、Greenplum(并行装载)开发中5.X 和 6.X