4.1.9.4
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
FDL-12427 api接口两次构建缓存时间太短导致接口超限,此版本已修复。
FDL-12415 Doris自动建表注释写入失败,此版本已修复。
FDL-12409 api输出返回值参数,预览失败,此版本已修复。
FDL-12408 数据分发里分发内容的字段不能减少,此版本已修复。
FDL-12405 【来源PT项目】FDL管道异常thread导致了解析异常,无法启动,此版本已修复。
FDL-12360 mongodb的时间值经过spark计算后会强制转为日期值,此版本已修复。
FDL-12328 客户任务运行严重排队,不执行,此版本已修复。
FDL-12315 数据管道doris查询语句导致sql执行异常,此版本已修复。
FDL-12292 增量阶段脏数据报错违反主键唯一性约束,此版本已修复。
REPORT-123417 【性能】压测40并发持续5分钟16c64G的服务器CPU占用超过90%,平台模块 11.0.28已修复。
REPORT-120662 【数据集】存储过程数据集预览报错,平台模块 11.0.27(Build#release-2024.06.25.11.43.21.405)已修复。
REPORT-124320 【数据源】更新驱动后,mysql5的数据库读取了所有库,查询不存在的表也会报错,11.0.27(Build#release-2024.06.21.14.05.35.832)+finedata/11.0/release/fine-datasource-11.0.jar已修复。
4.1.9.3
新增回收站
在使用 FineDataLink 时,用户清理无效任务的时候可能会把正式任务删除,为了减少任务误删问题的风险,希望能恢复被删除的任务。
回收站支持对「数据开发」、「数据管道」、「数据服务」中已经删除的任务进行资源还原、彻底删除等。
详情参见:回收站
定时任务和管道任务支持自定义字段映射规则
通过 FDL 能够统一对多个使用同一数据连接的定时任务、管道任务自定义字段类型映射规则。
详情参见:通用配置-字段映射规则
定时任务支持调用kettle
用户如果有历史的 Kettle 任务想要统一用 FineDataLink 进行管理,使用 FineDataLink 对 kettle 任务进行调用。
支持对单个 kettle 任务的便捷调用。
支持展示 kettle 任务运行日志。
详情参见:Kettle调用插件
分区读写支持 PostgreSQL、Greenplum、Gauss200
定时任务和数据服务支持选择 PostgreSQL、Greenplum、Gauss200 的分区表作为数据来源或数据去向
定时任务和管道任务自动建表支持指定分区(PostgreSQL、Greenplum、Gauss200 )和分布(Greenplum、Gauss200)逻辑
详情参见:读取、创建、写入分区表
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
FDL-12352 写入hive外部表,语句里不带分区键,同步后报错,此版本已修复。
FDL-12339 任务发布时,调用任务的校验,仅展示未发布的子任务--来源需求,此版本已修复。
FDL-12332 文件输出,文本限定符为无时,显示算子异常,此版本已修复。
FDL-12331 批量选表后无法移动表,此版本已修复。
FDL-12326 新添加的SAP RFC组件无法预览出数据,此版本已修复。
FDL-12300 数据比对-数据分发后写入同一张表,目标库数据异常。
FDL-12283 websocket断开导致状态刷新异常,此版本已修复。
FDL-12240 SAPRFC的ZRFC_BI_RFITEMAP函数运行报错,此版本已修复。
FDL-11910 FDL定时写入hive压缩表报错,任务执行失败 - Runtime internal error. - 抽数引擎内部异常 - 21,此版本已修复。
4.1.9.2
库表管理优化
详情参见:库表管理
需要注册库表管理功能点,才能使用「库表管理」功能
入口名称由「数据中心」改为「数据管理」
与FR/BI集成工程,暂时隐藏库表管理功能
左侧目录树中支持显示数据库名称中的空格
「已存SQL文件」记录中,展示创建人、编辑记录;支持修改 SQL 文件的名称
预览结果处,支持设定每页的条数;支持分页查看数据。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
FDL-12228 FDL升级:4.1.6.5升级至4.1.9.1,swift未启动结束导致升级失败,此版本已修复。
FDL-12221 生产环境开启并发取数保存之后再点击进去前端不显示,此版本已修复。
FDL-12214 数据同步选表模式选择doris视图jdbc报错,此版本已修复。
FDL-12171 含有blob字段类型目标表设置主键会报错,目前的插入方式不适用于Oracle,因此手动增加对超长 blob 的适配。
FDL-12137 管道目标端数据连接配置通用配置,ddl部分场景异常,此版本已修复。
FDL-11619 FDL看不到数据库注释--来源【客户需求 815398】,此版本已修复。
4.1.9.1
定时任务中SQL输入框支持联想显示参数
「数据同步-DB输入SQL输入框」、「数据同步-API-body」、「SQL脚本」、「参数赋值-DB输入SQL输入框」、「DB输入算子-SQL输入框」、「API输入算子-body」、「Spark SQL算子」、「Python算子」中支持自动联想参数。
数据同步写入方式文案统一
「追加/更新/写入数据」文案与「数据比对」统一,修改为「基于标识字段,新增/修改/删除字段」,如下图所示:
定时任务编辑锁支持FineDB配置项关闭
在编辑定时任务的时候,经常有客户任务被锁住的情况。
FineDB 增加配置项支持关闭、开启此编辑锁功能。
详情请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
修改定时任务版本管理版本容量最大限制
定时任务版本管理上限目前最多是 15 个版本,FineDB 需要支持可配置该数值,最大限制为小于等于 50 个。
详情请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-12108 源表字段注释有引号时同步会报语法错误,此版本已修复,sqlserver2019、clickhouse、mysql、postgresql、starrocks、greenplum 不支持添加表注释。
2)FDL-12081 mongodb 输入带参数异常,此版本已修复。
3)FDL-11892 自动备份失效,此版本已修复。
4)FDL-11287 集群环境编辑锁问题,此版本已经优化,若有需要,可联系技术支持获取设置方式。