历史版本11 :配置实时管道任务-数据来源&数据去向 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineDataLink 版本功能变动
4.0.6支持 MySQL 作为读取数据源
4.1.8.1管道任务支持多对一同步;「选择来源」步骤中可选择多张结构相同的源表生成一个分组表
4.2.11.3
配置实时管道任务的步骤全面更新,本文介绍如何添加来源端和目标端
点击展开更多
FineDataLink 版本
功能变动
4.0.7

支持 SQL Server 作为读取数据

支持 Oracle 作为读取数据源

4.0.18支持 Oracle18c、19c、Oracle RAC 集群作为读取数据源
4.0.20.1支持 0.10.2 到 3.4 的 Kafka 版本作为读取数据源
4.0.27

支持快速批量选择需要同步的数据表

4.0.29
  • 支持在设置数据来源时,检测数据源是否有日志读取权限

  • 自动屏蔽 Oracle 数据源 BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段同步

4.0.30
  • MySQL、Oracle、SQL Server、PostgreSQL 支持仅增量同步

  • 当「选择来源」选择「仅增量同步」时,去向表默认选择「已存在表」,会自动执行一次同名匹配,且用户仍可以手动切换为「自动建表」

4.1.4SAP HANA、DB2 支持作为读取端
4.1.7.2来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted 字段,实时同步时会屏蔽这些字段

1.2 功能简介

创建实时管道任务后,需要设置数据来源(来源端的数据连接)和数据去向(目标端的数据库)。如下图所示:

6.png

2. 前提条件编辑

1)用户需已做以下准备工作:

步骤

步骤一:数据源配置

根据实际情况选择源端和目标端数据库,数据管道支持的数据库请参见:数据管道支持的数据源类型

在数据连接管理中配置源端和目标端的数据连接,便于在管道任务配置过程中,通过选择数据源名称来控制同步任务的读取和写入数据库。详情请参见:配置数据连接

步骤二:准备数据库环境

基于需要设置数据管道任务的数据源,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述

步骤三:管道任务环境准备

部署 Kafka 开源流处理平台作为中间件。详情请参见:部署Kafka配置传输队列

步骤四:分配管道任务权限

若需要使用数据管道的用户不是超级管理员,则需要为对应用户分配数据管道的使用权限。详情请参见:管道任务管理权限

2)点击「数据管道>实时管道」,新建实时管道任务。如下图所示:

3.png

3. 选择数据来源和数据去向编辑

6.png

3.1 选择数据来源和数据去向

1)管道任务支持的来源端请参见:数据管道支持的数据源类型

注1:4.0.29 及之后版本,自动屏蔽 Oracle 数据源 BLOB、CLOB、NCLOB、LONG、RAW、LONGRAW、BFILE 字段同步。

注2:4.1.7.2 及之后版本,来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted 字段,实时同步时会屏蔽这些字段。

2)点击「数据源权限检测」按钮,可以查看数据源是否有日志读取权限。如下图所示:

7.png

3.2 读取方式

根据来源端数据库不同而变化。

4. 后续步骤编辑

高级设置说明请参见:配置实时管道任务-高级设置

1761187069509443.png