反馈已提交

网络繁忙

4.1.2更新日志

  • 文档创建者:Roxy
  • 历史版本:5
  • 最近更新:Roxy 于 2023-12-05
  • 版本说明

    Tomcat独立部署FDL安装包版本提升至 Tomcat 8.5.96。

    数据管道- GaussDB 200 装载方式 copy 写入,部分场景脏数据记录异常,此时直接重试脏数据即可。

    新增功能

    定时任务重试支持设置指定业务日期

    当定时任务失败后,用户可以指定业务日期手动进行任务重试,重新触发任务运行,任务运行记录重试时,默认获取「任务运维>运行记录」中当次运行记录任务中原本的调度时间,并且支持修改调度时间的值。

    详情参见:定时任务运维

    同时也可在任务运行记录「查看详情」中进行重试处理。

    数据转换新增分组汇总算子

    FineDataLink 提供可视化算子,用户可实现对原始数据根据条件将相同的数据先合并到一组,然后按照分组后的数据进行汇总计算,避免写大量 SQL ,提升数据处理效率。

    详情请参见:分组汇总算子

    新增「字段拆行」/「字段拆列」算子 

    FineDataLink 提供可视化算子,用户可用可视化的配置方式实现按分隔符对数据的行列拆分,避免写大量 SQL ,提升数据处理效率。

    详情请参见:字段拆行字段拆列

    字段拆行:

    字段拆列:

    新增通用JDBC取数插件

    当用户想要使用FineDataLink支持的数据源以外的其他的 JDBC 类型数据库作为 FineDataLink 中的定时任务数据源进行SQL 取数和执行 SQL等操作,可以使用该插件。

    详情参见:通用JDBC取数插件

    定时任务支持筛选脏数据、支持显示脏数据错误堆栈

    点击定时任务产生的脏数据,可显示具体错误堆栈,并按照错误类型筛选,便于用户进行脏数据处理。

    详情参见:定时任务运维 2.1.3 节

    数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源

    详情请参见:发布API概述

    数据管道支持多租户架构的Oracle作为数据来源

    支持使用 PDB 可插拔 Oracle 数据库作为管道任务数据来源。

    数据库准备配置详情参见:Oracle环境准备(LogMiner) 第四章、Oracle环境准备(XStream) 第四章

    管道任务支持查看和筛选脏数据

    支持查看脏数据、并筛选有脏数据的任务。

    优化功能

    优化内置参数${cyctime}的取值逻辑

    优化前:${cyctime}由定时任务调度时任务开始构建的时间,时间有一定的滞后性,不够精确。

    优化后:${cyctime}参数时间更精确

    详情参见:内置参数 2.1 节

    优化定时任务重试的逻辑

    详情参见:定时任务运维 2.2节

    1)运行中的实例,不支持重试操作

    目前运行中的实例,依然可以支持重试,不符合逻辑。

    2)在重试>参数设置中,支持查看全局参数

    如果任务用到了全局参数里的时间参数,在指定业务日期后,基于指定的业务日期替换时间格式参数的值进行后续的重试。

    3)在重试>参数设置中,不再支持「添加参数」。

    优化 Greenplum 数据源写入

    优化前:并行装载不支持写入二进制类型和 JSON 类型的数据,部分字段无法通过并行装载完成同步;且使用JDBC可以写入的二进制类型数据和JSON类型数据速度比较慢。

    优化后:

    • 定时任务中,Greenplum 数据源支持 COPY 方式写入数据,支持写入二进制字段和 JSON 字段

    • 并行装载方式支持写入 JSON 类型字段

    • 并行装载方式,支持插入/更新/删除数据写入方式;主键冲突策略可选择:主键相同,忽略输入源的数据主键相同,记录为脏数据

    详情参见:配置Greenplum数据源 第四章

    优化 GaussDB 200数据源写入

    优化前:不支持 COPY 装载,导致写入速度较慢。

    优化后:定时任务和数据管道任务中,装载方式新增COPY装载,写入数据较多时提升写入速度。

    详情参见:配置GaussDB 200数据源 第四章

    优化单个管道任务管理

    优化前:只能按照指定时间区间,例如近3天,进行统计情况的筛选查看,不够灵活。

    优化后:支持自定义历史统计周期查看同步情况,用户可自由查看管道任务活动历史情况。

    详情参见:单个管道任务管理 3.1 节

    优化前:运行中的任务不能查看任务配置情况,用户无法看到任务是否开启了 DDL、表映射关系等配置项

    优化后:可查看运行中任务的配置情况。

    详情参见:单个管道任务管理 第二章

    优化前:不能查看待同步数据延迟情况。

    优化后:新增显示待同步写入延迟时间,并能查看同步数据表「读取消息时间」和「写入消息时间」,更清晰的了解同步

    详情参见 单个管道任务管理 3.1.1 节

    优化前:无法对单条脏数据进行处理,同时对脏数据的分类查看不便。

    优化后:可对脏数据进行单条和批量处理,同时交互上更舒适,按照错误分类进行脏数据筛选。

    详情参见:单个管道任务管理 3.2 3.3 节

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-9336 开启内存计算配置后报错Memory compute process error - Index: 0, Size: 0。此版本已修复。

    2)FDL-9310 调度计划侧搜索只能搜索小写的。此版本已修复。

    3)FDL-9297 调度计划的下次运行时间排序无效。此版本已修复。

    4)FDL-9275 前端页面反映慢。此版本已修复。

    5)FDL-9274 达梦数据库表输入数据预览报错空指针。此版本已修复。

    6)FDL-9261 更新后运行数据过滤报错条件属性存在空值【内部问题】。此版本已修复。 

    7)FDL-9258 已运行过的管道任务暂停添加新的同步表。此版本已修复。 

    8)FDL-9234 管道待同步量为负数。此版本已修复。 

    9)FDL-9229 入库的值和预览不一致。此版本已修复。 

    10)FDL-9228 FDL重启后,其中一个管道任务:报错任务不存在或已被删除。此版本已修复。 

    11)FDL-9227 参数赋值异常。此版本已修复。 

    12)FDL-9219 参数赋值处页面截断。此版本已修复。 

    13)FDL-9215 数据转换无法写入,复制任务一个报错空指针。报错:com.fr.dp.exception.FineDPException: 任务执行失败 - Runtime internal error. - 抽数引擎内部异常 - Spark执行错误 - java.lang.NullPointerException - null

    此版本已修复。 

    14)FDL-8984 集群环境任务保存卡主了 此版本已修复。 

    15)FDL-8636 数据管道报错:get max scn in disk error - update MaxScn in disk of 2 获取磁盘中的最大scn错误-更新第2个磁盘中的MaxScn 。此版本已修复。 




    附件列表


    主题: 数据开发
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持