1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 4.2.18.2 | 支持解析 OGG 推送到 Kafka 的 JSON 格式数据 |
1.2 应用场景
用户的业务数据库为 Oracle，已通过 OGG 同步到 Kafka，希望将 Kafka 的数据同步到数仓中进行使用。
1.3 功能简介
实时管道源端选择 Oracle 后，读取方式新增「OGG-Kafka」，支持解析 OGG 推送到 Kafka 的 JSON 格式数据。如下图所示：
1.4 前提条件
需要注册Oracle（Logminer）功能点。
2. 场景模拟
用户的业务数据库为 Oracle，已通过 OGG 同步到 Kafka，希望将 Kafka 的数据同步到数仓中进行使用。
准备工作：
1）配置 Oracle 数据连接。
2）配置 Kafka 数据连接（实时管道任务读取的是 Kafka 中的 OGG JSON 数据；支持 0.10.2 到 3.4 的 Kafka 版本）。
3）配置数据去向的数据连接（实时管道支持的目标端请参见：实时管道任务支持的数据源类型）。
3. 配置实时管道任务
3.1 数据来源
1）新建实时管道任务。
2）选择 Oracle 数据连接，读取方式选择「OGG-Kafka」，选择 Kafka 数据连接，选择要读取的 Topic。如下图所示：
| 设置项 | 说明 |
|---|---|
| Topic配置 |
用户计划往哪个 Topic 里输入 JSON 信息，就选择这个 Topic，后续步骤中选择同步表时关联这个 Topic 注：一张表只能选择一个 Topic，一个 Topic 可以对应多张表 1）支持设置 Topic 的增量同步起点：最早有效 Offset、表启动时间 若已绑定的表正在运行中，不支持选择「表启动时间」 2）已绑定表数：显示该 Topic 已绑定的表数量，若 Topic 已在该实时管道任务中绑定表，不支持删除 |
3.2 数据去向
选择目标端对应的数据连接、目标库。
实时管道支持的目标端请参见：实时管道任务支持的数据源类型
3.3 高级设置
不支持 同步源表结构变化功能 ，其余设置项说明请参见：配置实时管道任务-高级设置
3.4 同步配置
3.4.1 选择同步对象
点击「添加表」，需要从 3.1 节配置的 Topic 中选择一个，与来源表进行绑定，绑定后，消息通过 json 传到该 Topic，实时管道任务消费 Kafka 里的数据来实现同步。
注：一张表只能选择一个 Topic，一个 Topic 可以对应多张表。
| 设置项 | 说明 |
|---|---|
| 同步类型 | 支持两种：仅增量同步、存量+增量同步。详细说明请参见：配置实时管道任务-同步配置 |
| 增量同步起点 | 可在 3.1 节，Topic配置中修改，支持：最早有效 Offset、表启动时间 |
| 统一配置同步方式 | 点击后，可对多张来源表，统一配置同步类型
|
| 批量修改Kafka Topic |
支持批量修改Kafka Topic |
| 快速选表 | 详情请参见：配置实时管道任务-同步配置 |
3.4.2 字段映射
提示:
| 设置项 | 说明 |
|---|---|
| 表处理 |
点击后，可以修改Kafka Topic、同步类型 |
| 批量操作-批量修改Kafka Topic | 支持批量修改Kafka Topic
|
3.4.3 写入方式
不可修改。
点击「保存」按钮后，界面如下图所示：
后续步骤请参考：配置实时管道任务-任务控制
4. 效果查看
实时管道任务启动后，界面如下图所示：
特别说明：
1）仅支持同一 Topic 启动或者终止，无法单表暂停或者终止，支持单表删除。
2）必须确保同一主键的所有变更事件都进入同一个Kafka分区，否则无法保证数据操作的顺序一致性。
4）实时管道任务运行一段时间后，若想修改任务配置，请参见：管理实时管道任务
5. 异常场景说明
| 异常场景 | 处理策略 |
|---|---|
配置的 Topic 和表的关系对不上：
|
|
上一篇：实时管道任务-Kafka
