1. 概述编辑
FineDataLink 支持使用 Kafka 作为数据同步的中间件,暂存来源数据库中的数据,便于目标数据库写入数据,实现实时数据同步。
因此 本文介绍如何部署 Kafka 开源流处理平台,以便后续配置数据管道任务。
2. 前提条件编辑
Kafka 运行需要 Java 环境,因此需要确保服务器中安装了JDK,且 Java 环境正常运行。
Kafka 目前仅支持部署在 Linux 环境中。
3. 操作步骤编辑
点击下载安装包:Kafka 安装包
3.1 解压安装包
上传 kafka 安装包。
使用命令 tar zxvf kafka_2.13-2.8.1.tgz 解压安装包,如下图所示:
注:(请勿直接在windows环境下解压后,进行文件上传,这样会造成文件被修改,常见报错:/bin/bash^M: 坏的解释器: 没有那个文件或目录)
3.2 修改 Kafka 存储数据的目录
Kafka 在使用时需要存储数据到指定文件夹,因此需要新建文件夹用来存放暂存在 Kafka 中的数据。
注:建议文件夹新建在服务器中磁盘空间相对大的位置。
示例在 /data 目录下新建:kafka-logs,如下图所示:
打开 Kafka 安装目录下的 config 文件中的 server.proerties 文件,找到 log.dirs=,修改数据存储位置,把等于号后边的值替换为创建好的给 Kafka 保存数据的目录,修改之后保存。如下图所示:
注:如果kafka和fdl一台服务器,kafka默认localhost访问,不用修改server.properties。如果kafka跨服务器,则需要修改server.properties的listeners,修改为ip访问。
3.3 启动 Kafka
1)启动 zookeeper
由于 kafka 服务依赖于zookeeper 服务,使用 kafka 自带的 zookeeper,进入 Kafka 目录,使用命令:cd /.../kafka_2.13-2.8.1
执行命令: nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zk.log 2>&1 & 启动 zookeeper。
2)启动 Kafka
执行 nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
3)查看运行状态
执行命令 ps -ef|grep kafka 查看是否启动成功。
注:关闭 Kafka 步骤为先关闭 Kafka,再关闭 zookeeper,命令详情见本文第5节。
4. 后续步骤编辑
安装部署好 Kafka 后,即可在 FinedataLink 中配置数据管道任务。
5. 运维命令编辑
5.1 zookeeper
启动:进入 kafka目录下,执行 nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zk.log 2>&1 &
关闭:进入 kafka 目录下,执行bin/zookeeper-server-stop.sh
5.2 kafka
启动:进入 kafka 目录下,执行 nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
关闭:进入 kafka目录下,执行 bin/kafka-server-stop.sh