FineDataLink 支持使用 Kafka 作为数据同步的中间件，暂存来源数据库中的数据，便于目标数据库写入数据，实现实时数据同步。

因此 本文介绍如何部署 Kafka 开源流处理平台，以便后续配置数据管道任务。

Kafka 运行需要 Java 环境，因此需要确保服务器中 Java 环境正常运行。

Kafka 目前仅支持部署在 Linux 环境中。

点击下载安装包：Kafka 安装包

3.1 解压安装包

上传 kafka 安装包。

使用命令 tar zxvf kafka_2.13-2.8.1.tgz 解压安装包，如下图所示：

注：（请勿直接在windows环境下解压后，进行文件上传，这样会造成文件被修改，常见报错：/bin/bash^M: 坏的解释器: 没有那个文件或目录）

3.2 修改 Kafka 存储数据的目录

Kafka 在使用时需要存储数据到指定文件夹，因此需要新建文件夹用来存放暂存在 Kafka 中的数据。

注：建议文件夹新建在服务器中磁盘空间相对大的位置。

示例在 /data 目录下新建：kafka-logs，如下图所示：

打开 Kafka 安装目录下的 config 文件中的 server.proerties 文件，找到 log.dirs=，修改数据存储位置，把等于号后边的值替换为创建好的给 Kafka 保存数据的目录，修改之后保存。如下图所示：

注：如果kafka和fdl一台服务器，kafka默认localhost访问，不用修改server.properties。如果kafka跨服务器，则需要修改server.properties的listeners，修改为ip访问。

3.3 启动 Kafka

1）启动 zookeeper

由于 kafka 服务依赖于zookeeper 服务，使用 kafka 自带的 zookeeper，进入 Kafka 目录，使用命令：cd /.../kafka_2.13-2.8.1

执行命令： nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zk.log 2>&1 & 启动 zookeeper。

2）启动 Kafka

执行 nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 & 

3）查看运行状态

执行命令 ps -ef|grep kafka 查看是否启动成功。

注：关闭 Kafka 步骤为先关闭 Kafka，再关闭 zookeeper，命令详情见本文第5节。

安装部署好 Kafka 后，即可在 FinedataLink 中配置数据管道任务。

5.1 zookeeper

• 启动：进入 kafka目录下，执行 nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zk.log 2>&1 &

• 关闭：进入 kafka 目录下，执行bin/zookeeper-server-stop.sh

5.2 kafka

• 启动：进入 kafka 目录下，执行 nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &

• 关闭：进入 kafka目录下，执行 bin/kafka-server-stop.sh