1. 概述
1.1 版本
| 版本 | 功能变动 |
|---|---|
| 4.0.20.1 | 支持0.10.2以上的Kafka版本 |
| 4.1.11.4 | 实时任务支持 Kafka 数据源 |
| 4.1.13.2 | 支持 Kerberos 认证 |
1.2 应用场景
为了便于用户通过配置 Kafka 消费者的方式，实时从 Kafka 中取数。FineDataLink 支持配置 Kafka 数据连接。
注：Kafka 认证目前暂不支持 SASL_SSL 认证。
2. 准备工作
2.1 前提条件
详情请参见：前提条件
2.2 收集连接信息
在连接之前，请收集以下信息：
1）Kafka 服务的 IP 地址和端口号。
2）若是用户名密码认证，需要收集用户名和密码；4.1.13.2 及之后版本，若为 Kerberos 认证，需要：
下载环境上的配置文件 krb5.conf、XXX.keytab、principal 。
XXX.keytab 为密钥表文件，需要在提供 Kerberos 服务的应用服务器上找到该文件的对应位置。在不同服务器上 keytab 的文件名称可能不一样，这里用 XXX 代替。
2.3 配置 hosts 文件
注：本节步骤适用场景：4.1.13.2 及之后版本，认证方式为 Kerberos 认证；其他场景忽略本节内容。
配置本地 hosts 文件，例如路径为C:\Windows\System32\drivers\etc\hosts，在此文件增加远端映射的配置，映射格式为「 IP 机器名」。如下图所示：
注：对于运维平台部署的工程，如果需要使用 kerberos 认证，需要修改容器与宿主机的 hosts 文件，添加数据库和 kerberos 认证中心的域名。
3. 具体连接步骤
1）管理员登录 FDL 工程，点击「管理系统>数据连接>数据连接管理」，选中某个文件夹后，新建数据连接。如下图所示：
2）设置数据连接名称（可同时修改数据连接所在目录）。如下图所示：
3）可根据数据源分类、支持形式、适配模块、数据源名称筛选数据库。如下图所示：
4）输入数据源相关信息，如下图所示：
设置项说明如下表所示：
| 配置项 | 配置说明 |
|---|---|
| kafka服务地址 | 配置 kafka 的访问地址 示例格式：demo.fanruan.com:9093 填写 IP 地址或主机名以及端口号，多个地址以“,”隔开 |
| 认证方式 | 无认证、用户名密码、Kerberos 用户名密码：输入连接使用的 Kafka 用户账号和密码 Kerberos：
1）Kerberos服务名称：
注：「Kerberos服务名称」需要在 Kafka 服务器上获取，路径为kafka/config/server.properties 2）keytab密钥路径：
3）客户端principal： principal 为注册过 KDC 的客户端名称，从 keytab 密钥中解析生成后，自动填充 principal 的格式通常为用户名/部门@公司，确认 principal 是否正确的方式是在数据库服务端 shell 执行klist 或者 kinit -k -t /path/to/keytab name_of_principal 或直接通过 beeline、impala-shell 等工具连接开启认证的服务，并查看对应的 principal 信息 例如：Hive 服务对应 principal 为 hive /bigdata@XXX.COM，而 Impala 服务对应的 principal为impala/bigdata@XXX.COM 4）krb5.com文件： 仅允许上传类型为 CONF 的文件，即上传 krb5.conf 文件 |
| 编码 | 即encoding参数，当键类型KEY或者值类型MESSAGE配置为STRING时，决定读取时的编码。 注：默认编码是utf-8 |
| 单次读取最小字节数（B） | 用户可以手动填写 校验项：
|
| 单次读取时间（ms） | 用户可以手动填写 校验：
|
| 扩展参数项 | 支持新增/删除参数项和参数值 可以参考：Apache Kafka 进行配置
|
4）点击「测试连接」，若连接成功则「保存」该连接。如下图所示：
