1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.2.20.2 | 实时管道任务支持读取华为GaussDB 100/GaussDB T |
1.2 功能简介
华为GaussDB 100/GaussDB T 作为实时管道来源端时，新增一种读取方式「逻辑解码-Kafka」，使管道可以直接消费 Kafka 中的 OGG JSON 数据，作为增量的数据来源。
2. Kafka 环境准备
需要开启逻辑复制能力，将数据变更情况输出到 Kafka，请联系对应 GaussDB 技术团队获取开启方式，开启后再使用此功能。
3. 配置实时管道任务
3.1 数据来源
1）新建实时管道任务。
2）选择 GaussDB 100/GaussDB T 数据连接，读取方式默认为「逻辑解码-Kafka」，选择 Kafka 数据连接，选择要读取的 Topic。如下图所示：
| 设置项 | 说明 |
|---|---|
| 数据连接 | 1）需要配置 GaussDB 100/GaussDB T 数据连接，详情请参见：配置华为GaussDB 100/GaussDB T数据源 2）需要配置 Kafka 数据连接。详情参见：配置Kafka数据源 |
| Topic配置 |
用户计划往哪个 Topic 里输入 JSON 信息，就选择这个 Topic，后续步骤中选择同步表时关联这个 Topic 注：一张表只能选择一个 Topic，一个 Topic 可以对应多张表 1）支持设置 Topic 的增量同步起点：最早有效 Offset、表启动时间
2）已绑定表数：显示该 Topic 已绑定的表数量，若 Topic 已在该实时管道任务中绑定表，不支持删除 |
3.2 数据去向
选择目标端对应的数据连接、目标库。
实时管道支持的目标端请参见：实时管道任务支持的数据源类型
3.3 高级设置
支持同步源表结构变化功能；设置项说明请参见：配置实时管道任务-高级设置
3.4 同步配置
3.4.1 选择同步对象
点击「添加表」，需要从 3.1 节配置的 Topic 中选择一个，与来源表进行绑定，绑定后，消息通过 json 传到该 Topic，实时管道任务消费 Kafka 里的数据来实现同步。
注：一张表只能选择一个 Topic，一个 Topic 可以对应多张表。
| 设置项 | 说明 |
|---|---|
| 添加表 | 不支持选择分组表；支持读取分区表 |
| 同步类型 | 支持两种：仅增量同步、存量+增量同步。详细说明请参见：配置实时管道任务-同步配置 |
| 增量同步起点 | 可在 3.1 节，Topic配置中修改，支持：最早有效 Offset、表启动时间 |
| 统一配置同步方式 | 点击后，可对多张来源表，统一配置同步类型
|
| 批量修改Kafka Topic | |
| 快速选表 | 详情请参见：配置实时管道任务-同步配置 |
3.4.2 字段映射
| 设置项 | 说明 |
|---|---|
| 表处理 | 点击后，可以修改Kafka Topic、同步类型
|
| 批量操作-批量修改Kafka Topic | 支持批量修改Kafka Topic
|
3.4.3 写入方式
不可修改。
点击「保存」按钮后，界面如下图所示：
后续步骤请参考：配置实时管道任务-任务控制
4. 效果查看
实时管道任务启动后，界面如下图所示：
特别说明：
1）仅支持同一 Topic 启动或者终止，无法单表暂停或者终止，支持单表删除。
2）同一张表的数据如果散落到不同 Partition，INSERT、UPDATE、DELETE 的先后顺序就会被打乱——比如先删后插，下游数据直接错乱。所以必须让同一张表（更准确说是同一行）的变更始终进入同一个 Partition。
3）不走实时共享中心，即实时采集任务不捕获其数据变更事件（增、删、改）。
5）实时管道任务运行一段时间后，若想修改任务配置，请参见：管理实时管道任务
5. 异常场景说明
| 异常场景 | 处理策略 |
|---|---|
配置的 Topic 和表的关系对不上：
|
|
上一篇：IBM DB2环境准备
