反馈已提交

网络繁忙

4.1.8更新日志

  • 文档创建者:Wendy123456
  • 历史版本:8
  • 最近更新:Wendy123456 于 2024-06-12
  • 升级兼容

    4.1.8.3 及之后版本,新增计算列 算子的公式中,若使用了参数 cyctime(类型从字符串变成了日期) 或者是 looptimes(类型从字符串变成了数值),会出现兼容问题。

    4.1.8.3

    定时任务为内置参数加上类型

    定时任务为内置参数加上类型。详情请参见:内置参数

    定时任务和数据服务适配更高版本Impala

    定时任务支持读取 Impala 3.4、Impala 4.1 。

    数据服务适配 Impala 3.4、Impala 4.1。

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-12063 管道任务的一两张表出现了待同步量很多(几十万条数据)、数据消化不掉的情况。原因是管道任务设置COPY 装载写入 GaussDB ,目标表和源表一个大写一个小写导致COPY 装载变为JDBC。此版本已修复。

    2)FDL-12032 传输队列设置用户名、密码登录。第一次测试连接成功,第二次测试连接或者保存后测试连接都会失败。此版本已修复。

    3)FDL-11266 文件输入算子读取csv文件,\f展示成了箭头。此版本已修复。

    4)FDL-11559 定时任务中 SQLServer 数据库同步到 SQLServer,数据库读取一条数据需要10s,但是 FDL 读取需要190s。此版本已修复。

    5)FDL-11821 使用参数赋值+条件分支+数据同步+消息通知来同步数据,希望前端日志中可以打印出参数值。经过测试,仅在任务中开启 info 级别,参数不会打印,只有开启系统的业务日志为 info,参数才打印。此版本已修复。

    6)FDL-11826 四节点集群的一个节点不显示任务。此版本已修复。

    7)FDL-11868 俄文环境下获取平台语言失败。此版本已修复。

    8)FDL-11919 DB表输入算子的样本设置中,设置全量数据,分组汇总-自定义分组不显示全部。此版本已修复。

    9)FDL-11949 oracle19c数据库,使用ojdbc8和ojdbc10的驱动 ,同步150w的增量数据,读写到一部分数据管道卡住不动了此版本已修复。

    10)FDL-11964 管道任务达到重试次数后自动暂停。此版本已修复。

    11)FDL-11968 db2 11.1.6 同步数据到 MySQL,最简单的 select * from 表一共7000多条数据,数据预览可以出来。但进行同步一直卡在数据读取。原因是并发数为2,调整并发数后重启正常。

    12)FDL-11971 ${loopTimes}在数据转换中预览会报错此版本已修复。

    13)FDL-11972 多个参数+循环容器遍历循环, 只有第一个参数会正常分隔, 其他参数没有进行分隔。此版本已修复。

    14)FDL-11979 管道写入 gp 数据库,有很多脏数据报错,列值全为null。此版本已修复。

    15)FDL-11981 升级到4.1.8.1版本运行大调度会宕机。此版本已修复。

    16)FDL-11989 文件输入使用 FTP协议,文件地址能够选择到文件,输出字段选择手动获取,报错提示error getting last modified time此版本已修复。

    4.1.8.2

    定时任务提供版本管理和版本比对功能

    详情请参见:定时任务版本管理

    1)发布的定时任务内容可以进行版本内容查看详情、回滚操作。如下图所示:

    9.png

    2)各个版本之间、开发环境的任务在发布时可以和生产环境内容进行版本比对,比对内容包括:参数列表、任务控制、画布节点。如下图所示:

    10.png

    支持将数据写入到「公共数据」中

    支持使用数据转换中的「数据集输出」算子或者「数据同步」直接将数据写入到远程「公共数据」指定目录下。如下图所示:

    详情请参见:数据集输出

    6.png

    适配神通数据库

    定时任务支持读取和写入神通数据库。

    管道任务支持写入神通数据库。

    数据服务支持读取神通数据库。

    详情请参见:配置神通数据源支持的数据源范围

    定时任务DDL同步优化

    DB表输出支持来源字段结构变化后提示更新字段映射。

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-11550 FDL不断请求BI登录接口,导致redis崩溃,BI数据无法更新。此版本已修复。

    2)FDL-11651 配置好后的数据服务API,设置了字段描述,保存好之后再修改参数,字段描述被清空此版本已修复。

    3)FDL-11786 升级到 4.1.7.3 后,多处卡顿。此版本已修复。

    4)FDL-11800 管道任务产生脏数据,报错:ERROR: dn_6001_6002: null value in column \"id\" violates not-null constraint\n\tat,重试无法消除脏数据此版本已修复。

    5)FDL-11837 集群工程中,使用数据服务发布带参数的sql数据为接口,调用报错:50000 server error此版本已修复。

    6)FDL-11877 有几个定时任务偶发会变成INVALID中断状态。此版本已修复。

    7)FDL-11954 任务控制中配置了平台和钉钉群消息推送,消息执行失败时未进行消息推送。此版本已修复。

    4.1.8.1

    定时任务全局参数提供动态参数

    当多个定时任务需要使用相同的参数赋值时,如果参数需要修改,每个定时任务都需要进行修改,实现过程比较麻烦;希望多个定时任务可以调用同一个参数,这样只需要修改该参数就可以达到修改所有定时任务参数的目的,提高维护任务的效率。

    本版本支持设置赋值全局参数,该动态参数可在多个定时任务中使用。如下图所示:

    详情请参见:全局参数-赋值参数

    8.png

    管道任务支持多对一同步

    场景:设备数据采集场景中,源端有相同格式的多个库的数据,需要实时同步到数仓的一张表中使用。

    配置管道任务-选择数据来源 步骤中,用户可将多张结构相同的源表数据同步到一张目标表中,取所有源表字段的交集作为分组表的字段。如下图所示:

    详情请参见:配置管道任务-选择数据来源17.png

    支持批量删除定时任务

    支持批量删除定时任务。如下图所示:

    详情请参见:定时任务运维-任务管理

    22.png

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-11798 管道任务-字段映射中,搜索后可从下拉字段里选到已映射字段。此版本已修复。

    2)FDL-11789 调度计划中存在脏数据时,重启 FDL 失败。此版本已修复。

    3)FDL-11763 文件输入算子读xlsx文件:xlsx文件中首行存在合并单元格,选择首行作为字段名;获取文件数据后,修改文件,将合并单元格取消掉,获取的字段名部分错误。此版本已修复。

    4)FDL-11734 统计日志中缺少循环容器的日志信息。此版本已修复。

    5)FDL-11693 用户的数据库是sqlserver 2016 sp3,数据管道显示不支持。此版本已修复。

    6)FDL-11679 用户侧高jvm导致宕机,从日志看有内存泄漏,原因是脏数据出现频率过高导致的。此版本已修复。

    7)FDL-11673 4.1.6.5升级到4.1.7.2后,打开定时任务卡住。此版本已修复。

    8)FDL-11666 配置定时任务DDL同步,来源表新增字段,点击更新目标表按钮,显示更新成功,但是显示字段不存在,目标表中没有更新字段。此版本已修复。

    9)FDL-11647 循环容器里面使用sparksql获取全局参数第二次循环开始就获取不到全局参数。此版本已修复。

    10)FDL-11211 管道rac运行过程中偶发无法解析归档日志。此版本已修复。

    11)FDL-11286 客户的api是循环取数,有一些jsonpath的路径字段不存在,应该赋值null,但却赋值了完整的json路径。此版本已修复。

    12)FDL-11548 数据开发任务点击终止后提示成功,,但任务还在运行中此版本已修复。

    13)FDL-11614 频繁宕机,进程还在,但前端无法打开。此版本已修复。

    14)FDL-11618 给用户分配权限,如果单独给了数据服务的管理权限,不会显示任务运维,必须要给定时任务的权限,才会显示出来。此版本已修复。

    15)FDL-11623 用户工程因为内存不足导致终止,再次启动后,日志提示捕获到源端DDL删除表的操作,实际表还在的。此版本已修复。





    附件列表


    主题: 数据开发
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持