1. 概述编辑
1.1 版本
版本 | 功能变动 |
---|---|
4.0.20.1 | 支持0.10.2以上的Kafka版本 |
1.2 应用场景
为了便于用户通过配置 Kafka 消费者的方式,实时从 Kafka 中取数。FineDataLink 支持配置 Kafka 数据连接。
2. 准备工作编辑
2.1 收集连接信息
在连接之前,请收集以下信息:
Kafka 服务的 IP 地址和端口号;
若是用户名密码认证,需要收集用户名和密码;若是 Kerberos 认证,需要收集客户端 principal 和 keytab 密钥路径;
3. 具体连接步骤编辑
1)登录 FineDataLink,选择「管理系统>数据连接>数据连接管理」,点击「新建数据连接」。如下图所示:
注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接管理权限
2)找到 Kafka,如下图所示:
3)输入 2.1 节的连接信息。如下图所示:
数据连接配置项如下图所示:
配置项 | 配置说明 |
---|---|
数据连接名称 | 填写数据连接名称。 |
kafka服务地址 | 配置kafka的访问地址 示例格式:demo.fanruan.com:9093 填写IP地址或主机名以及端口号,多个地址以“,”隔开 |
认证方式 | 无认证/kerberos 认证/用户名密码
注:Kerberos 认证详情参见:数据连接 Kerberos 认证 |
编码 | 即encoding参数,当键类型KEY或者值类型MESSAGE配置为STRING时,决定读取时的编码。 注:默认编码是utf-8。 |
读取最小字节数(B) | 用户可以手动填写 校验项:
|
读取时间(ms) | 用户可以手动填写 校验:
|
扩展参数项 | 支持新增/删除参数项和参数值 可以参考:Apache Kafka 进行配置
|
4)进行测试连接,如下图所示: