目录:
一、Kafka相关问题编辑
1.1 管道运行中报错:Exception during get all topics from broker
ERROR Exception when realtime job run - com.fr.dp.exception.FineDPException: exception during get all topics from broker.
原因:
kafka未启动,无法获得相关topics
解决方案:
检查传输队列的测试连接可不可以成功,同时使用jps命令(需要有jdk环境),查看kafka状态。有时候jps命令不可用,则可以使用:ps -ef|grep kafka命令查看kafka进程
jps命令结果如下图则kafka服务器启动正常:
如果无对应kafka进程,则按照zookeeper—>kafka顺序启动服务即可,启动命令参考:部署Kafka-https://help.fanruan.com/finedatalink/doc-view-83.html
1.2 kafka测试连接失败
解决方案:
Kafka测试连接失败,把meta.properties文件删了启起来了
1.3 数据管道报错,但是测试连接成功
原因:
连接没问题,但是表存在问题,有一个表配置了336个字段,实际上这个表只有289个字段。
解决方案:
检查发现同步的表中,目标表有个同名表是已经存在的,但是表结构是不一样的,导致报错。
1.4 kafka启动失败
原因:
Kafka和zookeeper关闭先后顺序不对导致的问题
解决方案:
kafka服务依赖于zookeeper服务,需要先启动 zookeeper,再启动 Kafka。
关闭时则相反,先关闭Kafka,再关闭zookeeper。
1.5 配置传输队列的时候,报错connect timeout
原因:
FDL和Kafka不在一台机器上,需要跨服务器访问,而kafka默认是localhost访问,因此需要在配置文件设置ip进行访问
解决方案:
在server.properties需要配置listeners,如下,取消#号,并设置为具体ip
二、权限相关编辑
1.1数据管道启动后报错:任务终止执行-Interrupt realtime task
前端报错如图
fanruan.log报错SQL执行失败 - No corresponding type for code: 0
原因:
缺少了sys下面的某些权限
解决方案:
给用户赋数据库onwer的权限