1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.0.6 | 支持Mysql 作为读取数据源 |
| 4.1.4 | SAP HANA、DB2支持作为读取端 |
| 4.1.7.2 | 来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段，实时同步时会屏蔽这些字段 |
| 点击展开更多 | ||||||||||||||
|
1.2 功能简介
「选择来源」步骤中，需要设置进行实时同步的数据表/库、同步类型等。如下图所示：
2. 前提条件
1）用户需已做以下准备工作：
| 步骤 |
|---|
步骤一：数据源配置 根据实际情况选择源端和目标端数据库，数据管道支持的数据库请参见：数据管道支持的数据源类型 在数据连接管理中配置源端和目标端的数据连接，便于在管道任务配置过程中，通过选择数据源名称来控制同步任务的读取和写入数据库。详情请参见：配置数据连接 |
步骤二：准备数据库环境 基于需要设置数据管道任务的数据源，授予数据源配置的账号在数据库进行相应操作的权限。详情请参见：数据库环境准备概述 |
步骤三：管道任务环境准备 |
| 步骤四：分配管道任务权限 若需要使用数据管道的用户不是超级管理员，则需要为对应用户分配数据管道的使用权限。详情请参见：管道任务管理权限 |
2）点击「数据管道」，新建管道任务。如下图所示：
3. 操作步骤
3.1 选择数据源
1）管道任务支持的来源端请参见：数据管道支持的数据源类型
注1：4.0.29 及之后版本，自动屏蔽 Oracle 数据源 BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段同步。
注2：4.1.7.2 及之后版本，来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段，实时同步时会屏蔽这些字段。
2）点击「数据源权限检测」按钮，可以查看数据源是否有日志读取权限。如下图所示：
3.2 读取方式
根据来源端数据库不同而变化。
3.3 同步类型
注：对于历史数据量很大的情况，历史数据往往要通过特定的高速装载方式或者分多次多批导入。管道任务仅使用在在全量同步完成后，接续开始增量同步，此时用户可以使用仅增量同步类型。
3.3.1 存量+增量同步
先对所有存量数据同步，然后持续同步新增变化。
任务初次运行时，将完整运行全量同步+增量同步；任务中断或暂停后，再次运行时，如果所有表的全量同步都已完成，则将从增量的断点开始，直接运行增量同步。
3.3.2 仅增量同步
| 增量同步起点 | 说明 |
|---|---|
| 选择「任务启动时间」作为起点时，将以任务启动时间作为解析开始时间 对于使用目标数据源推荐方式导入历史数据时，没有筛选条件的历史全量数据导入，可以设置增量同步起点为任务执行开始时间 | 1）任务仅包含增量阶段，任务初次运行时，将按照配置的起始时间开始进行增量同步。 2）支持数据源：MySQL、Oracle、SQLServer、PostgreSQL 3）配置后生效时间点精度为：yyyy-MM-dd HH:mm:ss.000，精确到毫秒，时区以数据库的时区为准。 注1：对于PostgreSQL 数据源，仅支持任务启动时间作为起点 注2：SAP HANA 仅支持任务启动时间作为起点 |
选择「自定义时间」作为起点时，可指定增量起始时间，默认为空，必填，允许指定到秒。 可选时间的起点是检测用户数据库日志最早的时间。 对于使用目标数据源推荐方式导入历史数据时，基于时间筛选的历史数据导入，可以设置增量同步起点为最早的筛选时间 |
3.4 同步对象
可选择要实时同步的数据表、数据库。
其中，「快速选表」按钮可批量选择多表，帮助用户更快选择来源表。如下图所示：
