1. 概述
1.1 版本
| FineDataLink 版本 | 功能变动 |
|---|---|
| 5.0.10.1 | 实时任务中新增「Paimon输入」，可读取 Paimon 数据源 |
1.2 功能简介
FineDataLink 「实时任务」支持使用 「Paimon输入」算子进行实时读取数据。
2. 操作步骤
2.1 读取Paimon数据
1）登录 FDL 工程，点击「数据开发>实时任务>新建」，新建实时任务，给实时任务自定义名称。如下图所示：
2）进入实时任务编辑界面后，拖入「Paimon输入」算子，设置数据连接、来源表、主键、同步类型。如下图所示：
注：需要注册「Paimon」功能点。
各设置项说明如下表所示：
| 设置项 | 说明 |
|---|---|
| 数据连接 | 需要先配置 Paimon 数据连接 |
| 来源表 | 对于主键表：
|
| 主键 |
|
| 同步类型 | 支持选择存量+增量同步、仅增量同步-任务启动时间、仅增量-自定义时间
|
| 样本设置 | 设置参与预览的数据计算样本数量，实际运行时取全量数据计算
|
提示:1）因为 Paimon 的增量数据不依赖日志解析，而是直接读表的 changelog ，所以实时任务读 Paimon 表时，不经过共享中心、Kafka，由实时任务直接流读 paimon 表
2）在实时任务中的「维度表输入」算子中不支持选择「Paimon」类型的数据连接。
3）点击「数据预览」，可查看读取的数据。如下图所示：
2.2 后续步骤
1）根据实际情况继续拖入其他算子处理数据或者将数据输出。
2）启动实时任务即可。
上一篇：RocketMQ输入
