1. 概述
通过实时管道同步数据时,执行同步任务前,需要在数据源中进行一些配置,开启数据库日志并进行数据库权限设置,以便 FineDataLink 监听实时管道来源端的数据库日志变化,进行实时同步。本文为您介绍数据库需要进行的相关环境准备。
2. 方案选择
注:若管道任务使用的数据库环境进行了重启,可以在重启后检查各个数据库环境中的日志是否正常开启。
2.1 源端为 MySQL
详情请参见:MySQL环境准备
2.2 源端为 SAP HANA
详情请参见:SAP HANA环境准备
2.3 源端为SQL Server
详情请参见:SQL Server环境准备
2.4 源端为 IBM DB2
详情请参见:IBM DB2环境准备
2.5 源端为 PostgreSQL
详情请参见:【Windows环境】PostgreSQL环境准备、【Linux环境】PostgreSQL环境准备
2.6 源端为 KingBaseES
| 数据库类型 | 操作步骤 |
|---|---|
| KingBaseES(SqlServer模式) KingBaseES(MySQL模式) | KingBaseES环境准备 |
2.7 源端为 Oracle
| Oracle 类型 | 应用场景 | CDC模式 |
|---|---|---|
| 主库 | 优势:
劣势: 实时对接 Oracle 主库解析日志取数会给 Oracle 主库带来额外的压力 | XStream 详情请参见:Oracle环境准备(XStream) |
LogMiner 详情请参见:Oracle环境准备-LogMiner | ||
独立日志解析;详情请参见:Oracle环境准备(独立日志解析) 1)Oracle 的 XStream 和 LogMiner 两种 CDC 模式,是使用源库的硬件资源,当用户源端数据库的硬件资源跟不上业务的更新频率时,可能导致数据库卡顿,影响其上层业务系统使用 2)当用户源端数据库的业务更新频率非常大时,由于 LogMiner 解析速度较慢,会导致:
| ||
| 物理备库ADG模式 | 优势: 用户希望在使用实时管道/实时任务对接 Oracle 的同时能够降低对于主库的影响 劣势:
| LogMiner 详情请参见:Oracle环境准备(物理备库-ADG配置) |
