1. 概述
FineDataLink 支持使用 Kafka 作为数据同步的中间件，暂存来源数据库中的数据，便于目标数据库写入数据，实现实时数据同步。
本文介绍 Kafka ZooKeeper 模式的部署方案，以便后续 配置数据管道任务
注1：此示例为 Linux 系统下部署 Kafka；Kafka 建议安装在 Linux 系统中（Kafka 也支持安装在 Windows 中，但性能会受到限制，仅做演示使用，不建议用于生产环境 ）。
注2：Kafka KRaft 模式的部署方案请参见：部署Kafka：KRaft模式
2. KRaft 模式与 ZooKeeper 模式说明
详情请参见：KRaft 模式与 ZooKeeper 模式说明
3. 前提条件
Kafka 运行需要 Java 环境，因此需要确保服务器中已经指定了可使用的 Java 环境（指定 JAVA_HOME环境变量）。注：JDK 版本不能低于 1.8。
注：若 kafka 和 FineDataLink 部署在同一个服务器上，可以使用同一个 JAVA 环境，操作步骤如下：
在 etc/profile 文件中配置 Java环境，增加如下内容：
注：下面代码中%FineDataLink%替换为实际 FineDataLink 安装路径。
export JAVA_HOME=%FineDataLink%/jdk/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar
并执行source /etc/profile保存，使修改立即生效。
Kafka 性能可参考官方文档： Apache Kafka
4. 操作步骤
点击下载安装包：Kafka 安装包
4.1 解压安装包
上传 kafka 安装包。
注：可以将 Kafka 安装在任意Linux 环境中，如果Kafka 和FDL不在一台服务器上，Kafka就需要进行一些单独配置实现 Kafka 的跨服务器访问，可参见 增加配置。
使用命令 tar zxvf kafka安装包文件名.tgz 解压安装包，例如如下图所示：
注：（请勿直接在windows环境下解压后，进行文件上传，这样会造成文件被修改，常见报错：/bin/bash^M: 坏的解释器: 没有那个文件或目录）
4.2 修改 Kafka 存储数据的目录
注：用户也可忽略本节内容，使用默认的数据存储位置。
Kafka 在使用时需要存储数据到指定文件夹，因此需要新建文件夹用来存放暂存在 Kafka 中的数据。
示例在 /data 目录下新建：kafka-logs，如下图所示：
注：建议文件夹新建在服务器中磁盘空间相对大的位置，文件夹位置可自行设置。
打开 Kafka 安装目录下的 config 文件中的 server.properties 文件，找到 log.dirs=，修改数据存储位置，把等于号后边的值替换为创建好的给 Kafka 保存数据的目录，修改之后保存。如下图所示：
注：此处路径为示例，用户可根据实际情况设置保存数据目录位置。
4.3 修改 listeners
如果 kafka 和 FDL 不在同一个服务器，则需要修改 server.properties 文件的 listeners。详情请参见：增加配置
若 kafka 和 FDL 在同一个服务器，忽略本节内容。
注：Kafka 配置中无需指定 topic，FineDataLink 会自动创建，每张表对应一个topic。
4.4 修改 zookeeper 数据存储目录
示例在 /data 目录下新建：zookeeper 文件夹，如下图所示：
注：文件夹位置可自行设置。
打开 Kafka 安装目录下的 config 文件中的 zookeeper.properties 文件，找到 dataDir=，修改数据存储位置，把等于号后边的值替换为创建好的给 Kafka 保存数据的目录，修改之后保存。如下图所示：
4.5 启动 Kafka
1）启动 zookeeper
由于 kafka 服务依赖于zookeeper 服务，使用 kafka 自带的 zookeeper，进入 Kafka 目录，使用命令：cd /.../kafka_2.13-2.8.1
执行命令启动 zookeeper。
nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zk.log 2>&1 &
2）查看 zookeeper 运行状态
执行命令 ps -ef|grep zookeeper 查看是否启动成功。 若显示类似如下 18300 的进程号的记录，则表示启动成功。
3）启动 Kafka
执行 nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
4）查看 Kafka 运行状态
执行命令 ps -ef|grep kafka 查看是否启动成功。 若显示类似如下 18300 的进程号的记录，则表示启动成功。
注：关闭 Kafka 步骤为先关闭 Kafka，再关闭 zookeeper，命令详情见本文第5节。
5. 后续步骤
安装部署好 Kafka 后，即可在 FinedataLink 中配置传输队列
6. 运维命令
注1：关闭 Kafka 步骤为先关闭 Kafka，再关闭 zookeeper。
注2：重启 Kafka 前，需要先手动暂停管道任务，重启 Kafka 后，再手动重启管道任务，否则管道任务会有异常。
6.1 关闭 Kafka
进入 kafka目录下，执行 bin/kafka-server-stop.sh
6.2 关闭 zookeeper
进入 kafka 目录下，执行bin/zookeeper-server-stop.sh
上一篇：【Linux环境】PostgreSQL环境准备
