历史版本11 :4.0.27更新日志 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

兼容说明编辑

  • 数据服务功能已内置主版本,支持一键升级。

  • 任务运维的调度计划中:如果旧版本升级到4.0.27版本,调度名称默认为:调度1-任务名称。

新增功能编辑

FineBI「公共数据」支持作为数据库来源端和发布为API

用户想要将 FineBI 中处理好并发布到公共数据的数据集在其他系统中使用。

  • 定时任务支持读取「公共数据」,输出到其他目标端。

  • 数据服务支持读取「公共数据」,发布为API。

详情请参见:数据集输入-公共数据定时任务输出时同步数据到FineBI发布API

如下图所示:

定时任务支持批量配置和管理调度

详情参见:定时任务运维

开发人员在开发完任务后,由运维人员在运维界面处负责统一批量设置任务的调度,FineDataLink 支持批量设置定时任务的调度配置,如下图所示:

当任务的通知对象发生变更时,需要批量修改涉及到的任务,FineDataLink 支持批量设置定时任务的结果通知,如下图所示:


独立部署工程支持集群

注:仅数据开发功能支持集群,若配置了集群,则独立部署工程中数据管道、数据服务功能无法继续使用,后续迭代中将支持,敬请期待。

用户在使用 FineDataLink 时,希望能实现高可用和高并发,提升产品使用稳定性。

FineDataLink 独立部署工程支持集群

  • 高并发:定时任务的最小运行单元是步骤流内的节点,任务执行时会生成一个任务实例,任务实例内包含多个待运行节点。任务实例内的待运行节点均衡地分发到各集群节点执行。

  • 高可用:集群节点被置为不可用时,原本运行在该集群节点上的节点转移至其他正常集群节点。

详情参见:集群部署概述

管道任务支持快速选表

当管道任务源库表量较大,需要从大量表中选取部分已知表名的表作为同步表,FineDataLink 支持通过粘贴表名的方式,快速选表,如下图所示:

详情参见:配置数据管道任务

优化功能编辑

管道任务交互优化和文件夹管理

优化前:管道任务中任务均平铺,不便于进行任务管理。

优化后:展示效果更加酷炫,支持卡片、列表视图切换,如下图所示:

任务编辑过程中支持保存,如下图所示:

管道脏数据查看和处理&日志整体优化

详情参见:单个管道任务管理

优化前:管道任务脏数据仅支持重跑,不支持忽略、重试,且不能查看任务中单个数据表的脏数据情况,也不能导出脏数据。

优化后:管道任务支持用户快速查看脏数据、快速定位单条脏数据产生的原因,如下图所示:

管道任务支持用户对脏数据进行灵活处理,除了对脏数据进行重新同步,还可以进行忽略和重试(在任务运行、暂停、中止时均可进行),如下图所示:

支持查看实时数据与近期统计数据,提供了简易图表来提升数据趋势的可读性,如下图所示:

数据连接失败后的定时任务界面优化

优化前:数据连接失败,使用到这个数据连接的定时任务打开会空白。

优化后:可以正常打开。

Doris 和 StarRocks 来源端字段名或字段值里存在换行符导致写入时被切分优化

优化前:写入到 Doris 采用 stream load 导入方式,即把数据输出为 CSV 格式,然后再 load 进数据库里,但是如果来源端的字段或字段名里存在换行,将其转化为CSV的时候,会被识别为多个字段或多个值,写入时出现问题。

优化后:将换行符从/n /t 改成\01 \02 字符,正常写入数据。

修复 BUG编辑

本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

1)FDL-6966-升级之后调用任务卡住了  调用任务走的default的线程池,默认数量只有cpu个数的一半,子任务多所以很容易就占满。版本已增加线程池大小。

2)FDL-6899 重设用户密码无法编辑    版本已修复。

3)FDL-6726 fdl对空值和null值写入的处理    版本已修复。

4)FDL-6717 【内部问题】点击数据同步 写入数据源切换后 界面空白   版本已修复。

5)FDL-6688 sqlserver数据库同步,自动建目标表datetime字段映射与源表不一致  版本已修复。

6)FDL-6663 【来源PT项目】sap数据连接BUG  版本已修复。

7)FDL-6595 数据比对更换更多配置中的字段扣报错【内部问题】 此版本数据比对的返回字段修改为数组,组件类型修改为复选下拉。

8)FDL-6578 【内部问题】点击数据转换-简道云输入后界面空白,不能出现配置项    此版本已修复。

9)FDL-6559  数据比对来源和目标表都仅查主键字段,用物理删除报错   此版本已修复。

10)FDL-6547  客户集成版本FDL从sqlite同步至mysql报错  此版本已修复,从 sqlite 数据库输出至其他数据库无问题。

11)FDL-6538  管道任务报错  此版本已修复。

12)FDL-6507 数据转换节点执行过程卡住   此版本已修复。

13)FDL-6503  excel导入报错存在合并单元格   此版本已修复。

14)FDL-6287   DB表输出的字段映射没法保留未勾选字段【内部问题】  此版本已修复。

15)FDL-5921  FDL管道任务待同步量为负数

原因分析:

  • 重新同步的时候,如果排队没有排上,此时暂停了任务,重启时可能导致待同步负数

  • GreenPlum 写入端可能会卡住

解决方案:单张表的全量同步实际开始执行的时候,不管是初次全量同步,还是重新同步,都再把目标端的 offset 再重置一次。

原因分析:重新同步的时候,如果源端数据变化比较频繁,可能导致待同步负数

解决方案:

1)关键位置加锁

2)全量同步阶段和增量同步阶段的汇报隔离开,保证重新同步的时候,全量同步的汇报不影响整体数据准确性

16)FDL-5548  【来源PT项目】紧急-管道任务假死   

问题描述:

暂停任务后,如果在上次暂停还没有完全停止下来的时候再次启动任务,可能导致任务无法暂停

原因分析:

和问题 15 中的原因是相同的

除了问题 15 中的问题,还有以下可能:

RealtimeJobManager 暂停任务的时候,会先把RealtimeJobContainer从jobContainerMap中移除,然后再真正执行暂停操作,这就导致使用RealtimeJobManager.isRunning判断任务是否运行的时候,判断不准确,即一个任务可能正在暂停中(其中也是运行中),但是RealtimeJobManager.isRunning的返回值是false。

17)FDL-5920   通用配置中设置的目标表字段小写不生效   此版本中大小写转换和建表问题已修复。

18)FDL-5586  api输入接口超时   此版本已修复。

19)FDL-5541  管道任务报错,但显示正在运行。

原因分析:

由于迁移外接库时没有暂停管道任务,导致管道任务暂停。

解决方案:

此版本中迁移外接库前后自动重启和停止管道任务,避免因为迁移数据库时锁数据库导致额外问题发生。

20)FDL-5445  API取数在headers里面填入cookie 参数异常

用API取数的时候报错api response error - CSRF token validation failed  此版本已修复。

21)FDL-5220  任务打开时,第一个节点文字显示不全   此版本已修复。

22)FDL-5167 Oracle LogMiner RAC   此版本已修复。

23)FDL-5165  接口签名拼接时间参数url转码不能识别【2021_利润NA客户】  url编码问题 此版本已修复。

24)FDL-5102  【来源PT项目】紧急bug-管道任务报错null  此版本已修复。

解决方案:

管道任务点击一次保存后,保存按钮无法再点击。

同一任务,不同窗口保存,会提示任务正在保存中。