历史版本3 :数据转换问题排查 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

数据转换编辑

运行日志报错:超出内存限制

点击展开更多

问题描述:

任务运行失败,报错超出内存限制。

原因分析:

数据开发所占用的内存资源超过工程设置的上限。

解决方案:

可以根据实际运行任务情况,参考 机器要求 适当调整 Tomcat的JVM内存任务运维的资源控制的数值


API 输入编辑

API取数数据预览报错:Http request error

点击展开更多

问题描述:

使用API取数,点击「数据预览」报错 Http request error,如下图所示:

原因分析:

FineDataLink  默认超时是10s,耗时长的api会提示超时。

解决方案:

参考 FDLTimeout  在API Header 内使用 FDLTimeout 字段设置超时时间。

API 输入运行报错 json format is illegal

点击展开更多

问题描述:

使用API取数,点击「数据预览」报错 json format is illegal,如下图所示:

原因分析:

4.0.20 版本中加了json格式校验,API 的 body 请求中不再支持写入注释。

解决方案:

清除 body  中的注释即可。


数据关联编辑

运行日志报错:Spark执行错误

点击展开更多

问题描述:

任务运行失败,报错提示[数据关联]: Spark执行错误- org apache spark sql. execution joins .exception.N2NInterruptException - null

原因分析:

spark 保护机制,避免数据量极速膨胀触发服务器宕机,通常在关联结果膨胀超过5倍 + 关联数据量大于 1kw出现,属于正常现象。

满足下面所有条件,判定为不合理场景:    

1)存在N:N的情况    

2)N:N步骤的结果数据量超过1kw     

3)N:N膨胀系数>=5

例如,100w 数据和 500w 数据N:N结果为2000w数据,那么N:N膨胀系数为: 2000w/500w =4,或者2000w/100w =20

DB表输出编辑

运行日志报错:Data write error - connection disables

点击展开更多

问题描述:

输出数据库为GreenPlum(并行装载)时,运行报错Data write error - connection disables

原因分析:

gpdfist 文件不支持放置路径有空格

解决方案:

放置文件的路径下有空格,换个文件夹放置,并重启gpfdist进程,配置并行装载方案详情参见:配置Greenplum(并行装载)数据源


简道云输入编辑

运行日志报错Table doesn't exist

点击展开更多

问题描述:
任务运行失败,日志报错Table doesn't exist

原因分析:

简道云字段过长,字段类型不匹配

解决方案:

通过字段设置修改对应字段的长度