历史版本13 :数据管道概述 返回文档
编辑时间:
内容长度:图片数:目录数:
修改原因:
1. 概述编辑
1.1 版本说明
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.0.6 | 支持Mysql 作为读取和写入数据源 |
| 4.0.7 | 支持SQL Server作为读取和写入数据源 支持 Oracle 作为读取数据源 |
| 4.0.8 | 支持 GaussDB 200 作为写入数据源 |
| 4.0.9 | 支持 Oracle 、PostgreSQL 作为写入数据源 |
| 4.0.11 | 支持 PostgreSQL 作为读取数据源 |
数据管道支持将多种输入及输出数据源进行单表或整库数据的实时同步，可以根据数据源的支持情况，配置管道任务。
本文为你介绍数据管道数据同步支持的数据源情况。
2. 操作流程编辑
使用 FineDataLink 数据管道进行数据同步的操作流程如下：
数据源配置。在进行数据管道任务配置前，配置好需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库，详情参见：配置数据连接
数据源环境已准备完成：基于需要设置数据管道任务的数据源，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见本文第三节。
部署 Kafka 开源流处理平台作为中间件，详情参见：部署Kafka
配置数据管道任务：配置数据管道任务。
3. 数据管道支持的数据源编辑
| 数据源 | 读取 | 写入 | 环境准备 | 日志解析方式 |
|---|---|---|---|---|
| MySQL | MYSQL 5.6及以上的非只读数据库 | MYSQL 5.6及以上的非只读数据库 | MySQL环境准备 | Binlog |
| SQL Server | SQL Server 2008 及以上企业版（Enterprise Edition）， SQL Server 2016 SP1 及以上标准版（Standard） | SQL Server2000、2005、2008、2012、2014、2016、2017 | SQL Server 环境准备 | CDC |
| Oracle | Oracle 10g、11g、12c |
| 读取数据限制请参阅： | LogMiner |
| GaussDB 200 | 开发中 | GaussDB 200 | ||
| PostgreSQL | postgresql 9.4以及以上版本 | postgresql_9.4.7；9.5.0； |