1. 概述
1.1 版本
FineDataLink 版本 | 功能变动 |
---|---|
4.0.6 | 支持Mysql 作为读取数据源 |
4.1.4 | SAP HANA、DB2支持作为读取端 |
4.1.7.2 | 来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段,实时同步时会屏蔽这些字段 |
点击展开更多 | ||||||||||||||
|
1.2 功能简介
「选择来源」步骤中,需要设置进行实时同步的数据表/库、同步类型等。如下图所示:
2. 前提条件
1)用户需已做以下准备工作:
步骤 |
---|
步骤一:数据源配置 根据实际情况选择源端和目标端数据库,数据管道支持的数据库请参见:数据管道支持的数据源类型 在数据连接管理中配置源端和目标端的数据连接,便于在管道任务配置过程中,通过选择数据源名称来控制同步任务的读取和写入数据库。详情请参见:配置数据连接 |
步骤二:准备数据库环境 基于需要设置数据管道任务的数据源,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述 |
步骤三:管道任务环境准备 |
步骤四:分配管道任务权限 若需要使用数据管道的用户不是超级管理员,则需要为对应用户分配数据管道的使用权限。详情请参见:管道任务管理权限 |
2)点击「数据管道」,新建管道任务。如下图所示:
3. 操作步骤
3.1 选择数据源
1)管道任务支持的来源端请参见:数据管道支持的数据源类型
注1:4.0.29 及之后版本,自动屏蔽 Oracle 数据源 BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段同步。
注2:4.1.7.2 及之后版本,来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段,实时同步时会屏蔽这些字段。
2)点击「数据源权限检测」按钮,可以查看数据源是否有日志读取权限。如下图所示:
3.2 读取方式
根据来源端数据库不同而变化。
3.3 同步类型
注:对于历史数据量很大的情况,历史数据往往要通过特定的高速装载方式或者分多次多批导入。管道任务仅使用在在全量同步完成后,接续开始增量同步,此时用户可以使用仅增量同步类型。
3.3.1 存量+增量同步
先对所有存量数据同步,然后持续同步新增变化。
任务初次运行时,将完整运行全量同步+增量同步;任务中断或暂停后,再次运行时,如果所有表的全量同步都已完成,则将从增量的断点开始,直接运行增量同步。
3.3.2 仅增量同步
增量同步起点 | 说明 |
---|---|
选择「任务启动时间」作为起点时,将以任务启动时间作为解析开始时间 对于使用目标数据源推荐方式导入历史数据时,没有筛选条件的历史全量数据导入,可以设置增量同步起点为任务执行开始时间 | 1)任务仅包含增量阶段,任务初次运行时,将按照配置的起始时间开始进行增量同步。 2)支持数据源:MySQL、Oracle、SQLServer、PostgreSQL 3)配置后生效时间点精度为:yyyy-MM-dd HH:mm:ss.000,精确到毫秒,时区以数据库的时区为准。 注1:对于PostgreSQL 数据源,仅支持任务启动时间作为起点 注2:SAP HANA 仅支持任务启动时间作为起点 |
选择「自定义时间」作为起点时,可指定增量起始时间,默认为空,必填,允许指定到秒。 可选时间的起点是检测用户数据库日志最早的时间。 对于使用目标数据源推荐方式导入历史数据时,基于时间筛选的历史数据导入,可以设置增量同步起点为最早的筛选时间 |
3.4 同步对象
可选择要实时同步的数据表、数据库。
其中,「快速选表」按钮可批量选择多表,帮助用户更快选择来源表。如下图所示: