1 概述
1.1 版本
最早支持版本：V2.3
1.2 功能介绍
从kafka消息队列的指定topic中读取数据
1.3 应用场景
增量实时同步
API数据推送服务
1.4 消息格式
输入格式：无
输出格式：KVP、JSON
1.5 配置项说明
1.5.1 基本属性
| 配置项名称 | 描述 |
|---|---|
| bootstrap servers | kafka服务器地址，形如：ip1:port1;ip2:port2... |
| 最大查询数量 | 单次pull读取的最大数量 |
| 最大查询时长 | 单次pull时如果数据没有达到 最大查询数量 时最多等待的时间，单位毫秒 |
| 分区策略 | 是否消费所有分区或者消费指定的分区 |
| 消费策略 | 当 分区策略 选项选择消费所有分区时，可自由选择消费策略：
|
| offset | 当 消费策略 选择从指定的offset处开始消费时，需要手动输入起点offset值 |
| topic选取策略 | 可以直接使用kafka输出组件读取topic、推送API的topic或者手动输入topic |
| topic | 当 topic选取策略 选择了手动输入topic时要输入的topic值 |
| 自动生成groupId | 是否自动生成roupId，默认为true |
| groupId | 当 自动生成groupId 选项未勾选时，手动输入的groupId值 |
| 消息格式 | 可以选择KVP或者JSON格式 |
1.5.2 分区配置
当 分区策略 选项消费指定的分区时生效，可手动配置需要消费的分区和对应的offset值。
1.5.3 其他属性
这里配置一些默认的kafka配置项，推荐使用默认值
1.5.4 高级选项
| 配置项名称 | 描述 |
|---|---|
| 每次启动从最新处开始消费 | 当该选项勾选时，将忽略已配置的offset值，每次都启动时都从最新的数据开始读取 |
