最新历史版本 :4.1.7更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

升级说明编辑

1）从2024.4.11之后，用户使用的独立部署 4.1 版本可使用「在线更新」升级至4.1.6.5 ，详情请参见：FineDataLink一键升级。

上传更新：4.1.7.2版本开始支持，可以手动上传jar包。

2）2024.4.30发布的版本升级回退注意事项：

如果升级到当前发布版本后再回退，则需要在FineDB里将 fine_dp_conf_entity_x 表里升级后生成的带新版本号标记的数据删掉。

修改 fine_dp_conf_entity_x 表里 namespace 为 ”DPFineDBVersionStore“ 对应的 version 值为旧版本。

兼容说明编辑

2024.4.30 发布的版本定时任务运行记录迁移至 LognDB

受平台日志自动清理控制，如果要保留所有运行记录，需要关闭平台日志自动清理功能，详情参见：日志简介

升级后会逐步迁移历史的运行记录，可能出现刚升级后运行记录不全的情况，等待完全迁移即可。

4.1.7.3编辑

定时任务区分开发模式和生产模式

对于定时任务，支持开发模式和生产模式，实现代码的隔离。

开发模式的任务可一键发布上线，将任务发布为生产模式。

详情参见：开发模式与生产模式

定时任务运行记录存储到logdb&支持清理 

fine_dp_work_exec_record表迁移到LogDB中，表名不变，后续数据均写入迁移后数据表。升级后会将历史运行记录迁移到LogDB中。详情参见：LogDB 表结构

定时任务运行记录可直接使用日志清理功能进行手动/自动清理，如下图所示：

详情参见：日志简介

记录读写过程日志\异常和错误日志使用过程中产生的过程日志，支持将运行记录导出为文件，以供查看和使用，详情参见定时任务运维-运行记录。

API输入、输出支持自定义响应解析的编码方式

「高级配置」中支持指定响应数据字符编码方式，详情参见：数据同步-API

定时任务JSON生成\SparkSQL+导入导出视觉优化

详情参见：JSON生成、Spark SQL、定时任务导入导出

管道任务支持写入HANA

详情参见：配置管道任务-选择数据去向

修复BUG

  • FDL-11561 非超管新建管道任务保存并启动异常，此版本已修复。

  • FDL-11516 sap关联类型参数传值异常，正在产品适配中。

  • FDL-11469 数据同步-搜索字段后再选择字段映射，匹配字段不一致，此版本已修复。

  • FDL-11468  管道任务报错redo log missing，正在优化中。

  • FDL-11271  管道异常中止，此版本已修复。

  • FDL-11420 管道任务无法成功暂停，正在优化中。

  • FDL-11414  管道任务读取binlog阻塞，导致无法终止删除，正在产品适配中。

  • FDL-11399  4.0.30并行装载升级至4.1.6.5异常，此版本已修复。

  • FDL-11357  数据同步COPY装载到GP, 脏数据容忍未生效，此版本已修复。

  • FDL-11006  管道任务异常中止报错，升级至最新版本即可解决。

4.1.7.2 编辑

升级版本支持上传更新

支持「上传更新」，即前端手动上传 JAR 包进行更新升级，解决每个月发布的中间版本不能提供一键升级的问题，如下图所示：

详情参见：FineDataLink一键升级


数据管道同步标记时间戳优化

  • 2.1 之后版本的 StarRocks，在管道任务中，支持「同步时标记时间戳」功能。

  • 2.0 版本之后的 Doris，在管道任务中，支持「同步时标记时间戳」功能。

  • 来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段，实时同步时会屏蔽这些字段

  • 目标表选择已存在表且已存在表包含「_fdl_marked_deleted」字段时，支持使用源端逻辑删除功能，支持「同步时标记时间戳」功能

详情参见：同步时标记时间戳、源端删除数据

修复BUG

FDL-11415 FDL管道同步时间戳有误，目标库显示的未来的时间，此版本已修复。

FDL-11412  并行取数任务无法终止，此版本已修复。

FDL-11370  全string类型，Doris自动建表映射异常，此版本已修复。

FDL-11356  事务输出至oracle，源端比目标端少列时运行异常，此版本已修复。

FDL-11013  源表携带管道自身生成的逻辑删除标识字段，启动后会有字段数目匹配不上的异常，问题已经排期，加紧修复中。

FDL-10946  Kafka偶发连接异常。

4.1.7.1编辑

定时任务编辑界面优化

  • 支持界面搜索：可对节点/算子进行搜索，并快速定位选中节点/算子

  • 支持导航器功能：显示画布内容的缩略图；支持拖拽移动视图；支持点击导航器其它区域，可快速定位画布内容

  • 对搜索和视图导航功能提供新手引导

  • 每次打开定时任务，画布内容居中

  • 拖拽画布时，不关闭节点面板

详情请参见：数据开发界面介绍

1712657866923337.gif

修复BUG

  • FDL-11209 oracle rac集群为源端，升级到4.1.6.4后出现读取编号为0的管道任务异常中止。可向技术支持获取定制 JAR 包解决。

  • FDL-11188 4.1.0升级至4.1.6.4，mongodb任务报错。处理步骤详情参见：数据转换问题排查

  • FDL-11180  oracle to gp并行读取异常。此版本已修复。

  • FDL-11178 外置库为sqlserver的工程，升级到4.1.6.4后管道任务无法打开，报错Get pipeline task list error。此版本已修复。

  • FDL-11147 【来源PT项目】今天早上任务无法中止，但任务运维已经显示失败。此版本已修复。

  • FDL-11125  定时开发写入 postgresql 数据库jsonb字段，写入报错 ERROR: cannot cast type bytea to jsonb。此版本已修复。

  • FDL-11037 新json解析null值处理异常。修复部分问题。

  • FDL-10986 oracle管道源端产生的临时文件未及时删除。此版本已修复。