历史版本10 :配置Kafka数据源 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

版本
功能变动
4.0.20.1支持0.10.2以上的Kafka版本
4.1.11.4实时任务支持 Kafka 数据源

1.2 应用场景

为了便于用户通过配置 Kafka 消费者的方式,实时从 Kafka 中取数。FineDataLink 支持配置 Kafka 数据连接。

注:暂不支持 Kerberos 认证方式的 Kafka。

2. 准备工作编辑

2.1 收集连接信息

在连接之前,请收集以下信息:

  • Kafka 服务的 IP 地址和端口号;

  • 若是用户名密码认证,需要收集用户名和密码;

3. 具体连接步骤编辑

1)登录 FineDataLink,选择「管理系统>数据连接>数据连接管理」,点击「新建数据连接」。如下图所示:

注:如果非管理员用户想要配置数据连接,需要管理员给其分配管理系统下数据连接节点的权限,具体操作请查看 数据连接管理权限

2)找到 Kafka,如下图所示:

3)输入 2.1 节的连接信息。如下图所示:

数据连接配置项如下图所示:

配置项
配置说明
数据连接名称 

填写数据连接名称。


kafka服务地址

配置kafka的访问地址

示例格式:demo.fanruan.com:9093

填写IP地址或主机名以及端口号,多个地址以“,”隔开

认证方式无认证/用户名密码
  • 无认证

  • 用户名密码:输入连接使用的 Kafka 用户账号和密码

注:暂不支持 Kerberos 认证方式的 Kafka

编码

即encoding参数,当键类型KEY或者值类型MESSAGE配置为STRING时,决定读取时的编码。

注:默认编码是utf-8

读取最小字节数(B)

用户可以手动填写

校验项:

  • 仅支持填写正整数,正整数校验

  • 不能包含空格

读取时间(ms)

用户可以手动填写

校验:

  • 仅支持填写正整数,正整数校验

  • 不能包含空格

扩展参数项

支持新增/删除参数项和参数值

可以参考:Apache Kafka 进行配置

  • 「新增参数项」和「参数值」限制长度<=50字符

  • 「新增参数项」只能是英文字母和".",「参数值」只能是英文字母和数字

  • 不能包含空格

  • 不能为空

4)进行测试连接,如下图所示:

4. 使用数据源编辑

支持「数据管道」和「实时任务」使用 Kafka,详情参见:配置管道任务-Kafka