反馈已提交

网络繁忙

4.1.7更新日志

  • 文档创建者:Roxy
  • 历史版本:15
  • 最近更新:Roxy 于 2024-04-30
  • 升级说明

    1)从2024.4.11之后,用户使用的独立部署 4.1 版本可使用「在线更新」升级至4.1.6.5 ,详情请参见:FineDataLink一键升级

    上传更新:4.1.7.2版本开始支持,可以手动上传jar包。

    2)2024.4.30发布的版本升级回退注意事项:

    如果升级到当前发布版本后再回退,则需要在FineDB里将 fine_dp_conf_entity_x 表里升级后生成的带新版本号标记的数据删掉。

    修改 fine_dp_conf_entity_x 表里 namespace 为 ”DPFineDBVersionStore“ 对应的 version 值为旧版本。

    兼容说明

    2024.4.30 发布的版本定时任务运行记录迁移至 LognDB

    受平台日志自动清理控制,如果要保留所有运行记录,需要关闭平台日志自动清理功能,详情参见:日志简介

    升级后会逐步迁移历史的运行记录,可能出现刚升级后运行记录不全的情况,等待完全迁移即可。

    4.1.7.3

    定时任务区分开发模式和生产模式

    对于定时任务,支持开发模式和生产模式,实现代码的隔离。

    开发模式的任务可一键发布上线,将任务发布为生产模式。

    详情参见:开发模式与生产模式

    定时任务运行记录存储到logdb&支持清理 

    fine_dp_work_exec_record表迁移到LogDB中,表名不变,后续数据均写入迁移后数据表。升级后会将历史运行记录迁移到LogDB中。详情参见:LogDB 表结构

    定时任务运行记录可直接使用日志清理功能进行手动/自动清理,如下图所示:

    详情参见:日志简介

    记录读写过程日志\异常和错误日志使用过程中产生的过程日志,支持将运行记录导出为文件,以供查看和使用,详情参见定时任务运维-运行记录

    API输入、输出支持自定义响应解析的编码方式

    「高级配置」中支持指定响应数据字符编码方式,详情参见:数据同步-API

    定时任务JSON生成\SparkSQL+导入导出视觉优化

    详情参见:JSON生成Spark SQL定时任务导入导出

    管道任务支持写入HANA

    详情参见:配置管道任务-选择数据去向

    4.1.7.2 

    升级版本支持上传更新

    支持「上传更新」,即前端手动上传 JAR 包进行更新升级,解决每个月发布的中间版本不能提供一键升级的问题,如下图所示:

    详情参见:FineDataLink一键升级


    数据管道同步标记时间戳优化

    • 2.1 之后版本的 StarRocks,在管道任务中,支持「同步时标记时间戳」功能。

    • 2.0 版本之后的 Doris,在管道任务中,支持「同步时标记时间戳」功能。

    • 来源表若包含 _fdl_update_timestamp、_fdl_marked_deleted、_fdl_update_timestamp 字段,实时同步时会屏蔽这些字段

    • 目标表选择已存在表且已存在表包含「_fdl_marked_deleted」字段时,支持使用源端逻辑删除功能支持「同步时标记时间戳」功能

    详情参见:同步时标记时间戳源端删除数据

    修复BUG

    FDL-11415 FDL管道同步时间戳有误,目标库显示的未来的时间,此版本已修复。

    FDL-11412  并行取数任务无法终止,此版本已修复。

    FDL-11370  全string类型,Doris自动建表映射异常,此版本已修复。

    FDL-11356  事务输出至oracle,源端比目标端少列时运行异常,此版本已修复。

    FDL-11013  源表携带管道自身生成的逻辑删除标识字段,启动后会有字段数目匹配不上的异常,问题已经排期,加紧修复中。

    FDL-10946  Kafka偶发连接异常。

    4.1.7.1

    定时任务编辑界面优化

    • 支持界面搜索:可对节点/算子进行搜索,并快速定位选中节点/算子

    • 支持导航器功能:显示画布内容的缩略图;支持拖拽移动视图;支持点击导航器其它区域,可快速定位画布内容

    • 对搜索和视图导航功能提供新手引导

    • 每次打开定时任务,画布内容居中

    • 拖拽画布时,不关闭节点面板

    详情请参见:数据开发界面介绍

    1712657866923337.gif

    修复BUG

    • FDL-11209 oracle rac集群为源端,升级到4.1.6.4后出现读取编号为0的管道任务异常中止。可向技术支持获取定制 JAR 包解决。

    • FDL-11188 4.1.0升级至4.1.6.4,mongodb任务报错。处理步骤详情参见:数据转换问题排查

    • FDL-11180  oracle to gp并行读取异常。此版本已修复。

    • FDL-11178 外置库为sqlserver的工程,升级到4.1.6.4后管道任务无法打开,报错Get pipeline task list error。此版本已修复。

    • FDL-11147 【来源PT项目】今天早上任务无法中止,但任务运维已经显示失败。此版本已修复。

    • FDL-11125  定时开发写入 postgresql 数据库jsonb字段,写入报错 ERROR: cannot cast type bytea to jsonb。此版本已修复。

    • FDL-11037 新json解析null值处理异常。修复部分问题。

    • FDL-10986 oracle管道源端产生的临时文件未及时删除。此版本已修复。

    附件列表


    主题: 数据开发
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持