历史版本3 :数据管道问题排查 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

1.1 管道运行中报错:Exception during get all topics from broker

ERROR  Exception when realtime job run - com.fr.dp.exception.FineDPException: exception during get all topics from broker.

原因:

kafka未启动,无法获得相关topics

解决方案:

检查传输队列的测试连接可不可以成功,同时使用jps命令(需要有jdk环境),查看kafka状态。有时候jps命令不可用,则可以使用:ps -ef|grep kafka命令查看kafka进程

jps命令结果如下图则kafka服务器启动正常:


如果无对应kafka进程,则按照zookeeper—>kafka顺序启动服务即可,启动命令参考:部署Kafka-https://help.fanruan.com/finedatalink/doc-view-83.html

1.2 kafka测试连接失败


解决方案:

Kafka测试连接失败,把meta.properties文件删了启起来了

1.3 数据管道报错,但是测试连接成功


原因:

有一个表配置了336个字段,实际上这个表只有289个字段。

解决方案:

同步的表中目标表有个同名表是已经存在的,但是表结构是不一样的,导致报错。

1.4 kafka启动失败


原因:

Kafka和zookeeper关闭先后顺序不对导致的问题

解决方案:

kafka服务依赖于zookeeper服务,需要先启动 zookeeper,再启动 Kafka。

关闭时则相反,先关闭Kafka,再关闭zookeeper

1.5 配置传输队列的时候,报错connect timeout


原因:

FDL和Kafka不在一台机器上,需要跨服务器访问,而kafka默认是localhost访问,因此需要在配置文件设置ip进行访问

解决方案:

在server.properties需要配置listeners,如下: