兼容说明
1)升级到 4.2.0.1 版本时,更换 JAR 前,需要将 %Tomcat/webapps/webroot/WEB-INF/lib% 下后缀为 4.1 的 jar 全部删掉。
工程启动后,需要重新注册,无法使用老版本的 lic 进行注册。
2)4.2.0.2 版本,默认屏蔽「应用数据平台」数据连接功能;升级到 4.2.0.2 版本前,若已经配置「应用数据平台」数据连接,需要联系技术支持增加FineDB配置,打开功能开关。
4.2.0.3
数据发布API支持指定排序字段
返回值配置中点击「获取」按钮后,支持指定排序字段和排序规则。如下图所示:
详情请参见:发布API概述
批量导入导出定时任务、调度计划
应用场景:
资源复用场景:将标准化场景任务进行资源打包,提供给 IT 人员后,IT 人员导入即可使用,无须再重新配置依赖资源。
测试环境发布至生产环境场景:用户部署两套工程,需要将开发完成的任务从测试环境工程批量导入进开发环境工程。
进入 FDL 工程后,点击用户账号右侧的下拉按钮,可选择资源导出(支持导出定时任务、调度计划)、资源导入。如下图所示:
详情请参见:批量导入导出定时任务、调度计划
支持 OceanBase(Oracle模式)数据源
FineDataLink 支持连接 OceanBase(Oracle模式)数据源,适配功能:
定时任务的读取和写入。
管道任务写入。
库表管理功能。
数据服务功能。
详情请参见:配置OceanBase(Oracle模式)数据源
库表管理支持查看 Doris/StarRocks 表类型&部分体验优化
1)库表管理功能中,支持查看 Doris、StarRocks 的表类型。如下图所示:
详情请参见:库表管理
2)体验优化如下表所示:
类型 | 优化前 | 优化后 |
---|---|---|
查看表数据体验优化 | 库表管理功能中查看表数据时,字段的值不区分 null 值和空字符串 | null 值显示为 null 空字符串不显示 |
点击「新建SQL编辑器」按钮,写 create 语句执行完成后,库表管理功能中进行查看存在字段 fdl_row_num_x(目标表里没有该字段,SQL 语句中也未新增该字段) | 点击「新建SQL编辑器」按钮,写 create 语句执行完成后,库表管理功能中进行查看,表中不存在 fdl_row_num_x 字段 | |
表结构/表数据体验优化 | 预览结果中若某列值字段较多,列宽无法拖动,无法直接看到完整的值信息 | 可通过拖拽改变列宽;鼠标悬浮字段值上面,会显示完整值 |
预览出的结果无法复制 | 鼠标右键点击字段值,出现复制按钮 | |
某些数据库本身不支持描述,像 SQLite 数据库,不支持表描述,但是库表管理中依然会展示表描述,但里面没有内容 | 若所属数据源不支持描述,库表管理中则不显示描述 | |
库表管理功能中预览 ClickHouse、MySQL 数据,不显示已有的注释 | 已修复 | |
SQL编辑器体验优化 | - | 编写 SQL 语句时,新增 Ctrl+S 快速保存的快捷键 |
已存SQL文件交互/管理优化 | 清空表、删除表时不展示实际执行的 SQL | 清空表、删除表时展示实际执行的 SQL,让用户查看 |
点击「已存SQL文件>查看」按钮,需要用户主动关闭弹窗 | 点击「已存SQL文件>查看」按钮,自动关闭已存在弹窗 |
定时任务/数据服务数据预览优化
1)发布内容及参数 步骤中,获取返回值后:
右键点击字段值,出现复制按钮,可复制字段值。
若字段值过长,支持拖拽调整列宽;鼠标悬浮字段值上,显示完整字段值。
2)定时任务中数据预览界面中:
鼠标右键点击字段值,出现复制按钮,可复制字段值。
若字段值过长,支持拖拽调整列宽。
字段值为空字符串时不显示,为 null 值时显示为 null。
鼠标左键点击字段值,右侧显示具体字段值,且提供复制按钮。
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-14433、FDL-14760、FDL-15020:历史版本为 4.1.7.3,4.1.8.1<目标版本<=4.2.0.2,升级后,报错任务不存在,无法获取文件。此版本已修复。
2)FDL-15080 管道任务目标端为 ClickHouse,目标表字段为 decimal类型,当源端字段值为 null 时,报错:Rollback this write and commit one line at a time。此版本已修复。
3)FDL-15179 「文件输入」算子中,文件类型选择「自定义」,文件夹读取文件时,报错后缀未配置。此版本已修复。
4)FDL-15186 集群工程中,定时任务中 MySQL 数据同步到 Doris,开启 DDL 变更通知,修改来源表的字段长度,报错:JSON 解析错误。此版本已修复。
5)FDL-15193 定时任务中 Doris 同步到 Doris,字段 segment1 是 varchar(40),写 SQL 语句将该字段命名为 item_number,字段映射展示出来 item_number 字段类型是 char(85)。此版本已修复。
6)FDL-15232 管道任务中 Oracle 同步到 Oracle,当数据源的一张表被删除,管道任务会出错无法同步:java.lang.IllegalArgumentException: cannot find tableId for table CAPACADM.BIN$wYqwZ0xtQxazwe6V+Un9ZA==$0。此版本已修复。
7)FDL-15238 「文件传输」算子中,文件来源是文件夹读取文件,任务运行时报错文件地址为空。此版本已修复。
4.2.0.2
Impala数据源扩展支持kudu表
Apache Impala 数据连接中新增设置项:「Kudu设置」。
配置后,定时任务和管道任务支持写入 Impala 数据库的 Kudu 表;数据服务支持发布 Kudu 数据;定时任务支持读取 Kudu 表。详情请参见:配置Apache Impala数据源
定时任务支持读取Elasticsearch数据
定时任务支持读取 Elasticsearch 数据。详情请参见:Elasticsearch输入
应用平台数据源取数优化
注:该功能当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
详情请参见:应用数据平台数据源
1)默认屏蔽该功能,用户若想使用,请联系技术支持。
2)数据预览支持预览表单最近 10 条数据,不支持自定义预览样本量。
3)「数据转换」节点中,支持使用「应用数据平台」数据源。
4)支持云端取数分页/优化手动终止逻辑。详情请参见下方表格内容:
点击展开更多 | ||||||
对接应用数据平台的整体拉数逻辑,分为两个阶段:
|
血缘分析支持Hive的SQL解析
定时任务中数据来源中配置方式选择「SQL」时,血缘分析功能支持 Hive 数据源。详情请参见:血缘分析
字段映射中可获取Doris2.1.6以上版本的字段注释
Doris 2.1.6 以上版本,字段映射中可获取到字段注释。详情请参见:数据同步-数据去向与映射
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-15018 数据管道中止,报错:Binlog读取异常。此版本已修复。
2)FDL-15035 Oracle19c 数据同步到 Oracle19c,目标表为自动建表,date 字段映射之后变成了 timestamp 字段类型。此版本已修复。
3)FDL-15071 「文件输入」算子中勾选「读取子文件夹」按钮,预览会报错数组越界。此版本已修复。
4)FDL-15116 SQL 语句在开发模式正常,发布到生产模式后发现 SQL 语句中的空格没了。此版本已修复。
4.2.0.1
lic控制增加实时数据开发、数据管理治理模块
lic 控制增加实时数据开发、数据管理治理模块。
详情请参见:功能点限制
适配 openGauss 数据源
FineDataLink 支持连接 openGauss,进行定时任务读写功能、库表管理功能。如下图所示:
详情请参见:配置openGauss数据源
实时任务支持分流
注:该功能属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
数据分发支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。如下图所示:
详情请参见:数据分发-实时任务
Amazon S3 数据连接逻辑优化
Amazon S3 数据连接中,统一用 S3 协议兼容目前已支持的全部文件存储系统。
数据开发-定时任务中可使用 Amazon S3 数据连接,在阿里云 OSS,华为云OBS,亚马逊 S3,MinIO 等兼容 S3 协议的对象存储中进行读取和写入。
详情请参见:配置Amazon S3数据源
工程前端界面将试用字样取消
事件调度、血缘分析功能中,前端将不显示「试用」字样。如下图所示:
修复BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-14365 打开某个定时任务,浏览前端日志时,日志太大到底前端崩溃,报错:STATUS_STACK_OVERFLOW。此版本已修复。
2)FDL-14785 数据连接改名后,之前配置的数据服务 API 无法打开。此版本已修复。
3)FDL-14814 管道任务遇到脏数据终止运行,复制该管道任务,发现复制的管道任务运行后报错Caused by: java.lang.IndexOutOfBoundsException: Index: 7, Size: 7。此版本已修复。
4)FDL-14894 读取吉客云数据,报错:科学计数法类型错误。此版本已修复。
5)FDL-14988 「JSON生成」算子中勾选「按分组字段合并JSON字段」,表中数据为null,json 生成的字段会缺少。此版本已修复。