反馈已提交

网络繁忙

4.2.0更新日志

  • 文档创建者:Wendy123456
  • 历史版本:6
  • 最近更新:Wendy123456 于 2024-11-28
  • 兼容说明

    1)升级到 4.2.0.1 版本时,更换 JAR 前,需要将 %Tomcat/webapps/webroot/WEB-INF/lib% 下后缀为 4.1 的 jar 全部删掉。

    工程启动后,需要重新注册,无法使用老版本的 lic 进行注册。

    2)4.2.0.2 版本,默认屏蔽应用数据平台」数据连接功能;升级到 4.2.0.2 版本前,若已经配置应用数据平台」数据连接,需要联系技术支持增加FineDB配置,打开功能开关。

    4.2.0.3

    数据发布API支持指定排序字段

    返回值配置中点击获取按钮后,支持指定排序字段和排序规则。如下图所示:

    详情请参见:发布API概述

    39.png

    批量导入导出定时任务、调度计划

    应用场景:

    • 资源复用场景:将标准化场景任务进行资源打包,提供给 IT 人员后,IT 人员导入即可使用,无须再重新配置依赖资源。

    • 测试环境发布至生产环境场景:用户部署两套工程,需要将开发完成的任务从测试环境工程批量导入进开发环境工程。

    进入 FDL 工程后,点击用户账号右侧的下拉按钮,可选择资源导出(支持导出定时任务、调度计划)、资源导入。如下图所示:

    详情请参见:批量导入导出定时任务、调度计划

    40.png

    支持 OceanBase(Oracle模式)数据源

    FineDataLink 支持连接 OceanBase(Oracle模式)数据源,适配功能:

    • 定时任务的读取和写入。

    • 管道任务写入。

    • 库表管理功能。

    • 数据服务功能。

    详情请参见:配置OceanBase(Oracle模式)数据源

    库表管理支持查看 Doris/StarRocks 表类型&部分体验优化

    1)库表管理功能中,支持查看 Doris、StarRocks 的表类型。如下图所示:

    详情请参见:库表管理

    4.png

    2)体验优化如下表所示:

    类型
    优化前优化后
    查看表数据体验优化库表管理功能中查看表数据时,字段的值不区分 null 值和空字符串

    null 值显示为 null

    空字符串不显示

    点击「新建SQL编辑器」按钮,写 create 语句执行完成后,库表管理功能中进行查看存在字段 fdl_row_num_x(目标表里没有该字段,SQL 语句中也未新增该字段)点击新建SQL编辑器按钮,写 create 语句执行完成后库表管理功能中进行查看,表中不存在 fdl_row_num_x 字段
    表结构/表数据体验优化预览结果中若某列值字段较多,列宽无法拖动,无法直接看到完整的值信息可通过拖拽改变列宽;鼠标悬浮字段值上面,会显示完整值
    预览出的结果无法复制

    鼠标右键点击字段值,出现复制按

    6.png

    某些数据库本身不支持描述,像 SQLite 数据库,不支持表描述,但是库表管理中依然会展示表描述,但里面没有内容若所属数据源不支持描述,库表管理中则不显示描述
    库表管理功能中预览 ClickHouse、MySQL 数据,不显示已有的注释已修复
    SQL编辑器体验优化-
    编写 SQL 语句时,新增 Ctrl+S 快速保存的快捷键
    已存SQL文件交互/管理优化清空表、删除表时不展示实际执行的 SQL

    清空表、删除表时展示实际执行的 SQL,让用户查看

    7.png

    点击「已存SQL文件>查看」按钮,需要用户主动关闭弹窗

    8.png

    点击已存SQL文件>查看」按钮,自动关闭已存在弹窗

    定时任务/数据服务数据预览优化

    1)发布内容及参数 步骤中,获取返回值后

    • 右键点击字段值,出现复制按钮,可复制字段值。

    • 若字段值过长,支持拖拽调整列宽;鼠标悬浮字段值上,显示完整字段值。

    1732704200133509.png

    2)定时任务中数据预览界面中:

    • 鼠标右键点击字段值,出现复制按钮,可复制字段值。

    • 若字段值过长,支持拖拽调整列宽。

    • 字段值为空字符串时不显示,为 null 值时显示为 null。

    • 鼠标左键点击字段值,右侧显示具体字段值,且提供复制按钮。

    10.png

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-14433、FDL-14760、FDL-15020:历史版本为 4.1.7.3,4.1.8.1<目标版本<=4.2.0.2,升级后,报错任务不存在,无法获取文件。此版本已修复。

    2)FDL-15080 管道任务目标端为 ClickHouse,目标表字段为 decimal类型,当源端字段值为 null 时,报错:Rollback this write and commit one line at a time此版本已修复。

    3)FDL-15179 文件输入算子中,文件类型选择自定义,文件夹读取文件时,报错后缀未配置。此版本已修复。

    4)FDL-15186 集群工程中,定时任务中 MySQL 数据同步到 Doris,开启 DDL 变更通知,修改来源表的字段长度,报错:JSON 解析错误。此版本已修复。

    5)FDL-15193 定时任务中 Doris 同步到 Doris,字段 segment1 是 varchar(40),写 SQL 语句将该字段命名为 item_number,字段映射展示出来 item_number 字段类型是 char(85)。此版本已修复。

    6)FDL-15232 管道任务中 Oracle 同步到 Oracle,当数据源的一张表被删除,管道任务会出错无法同步:java.lang.IllegalArgumentException: cannot find tableId for table CAPACADM.BIN$wYqwZ0xtQxazwe6V+Un9ZA==$0此版本已修复。

    7)FDL-15238 文件传输算子中,文件来源是文件夹读取文件,任务运行时报错文件地址为空。此版本已修复。

    4.2.0.2

    Impala数据源扩展支持kudu表

    Apache Impala 数据连接中新增设置项:「Kudu设置」。

    配置后,定时任务和管道任务支持写入 Impala 数据库的 Kudu 表;数据服务支持发布 Kudu 数据;定时任务支持读取 Kudu 表。详情请参见:配置Apache Impala数据源

    1732193572329467.png

    定时任务支持读取Elasticsearch数据

    定时任务支持读取 Elasticsearch 数据。详情请参见:Elasticsearch输入

    19.png

    应用平台数据源取数优化

    注:该功能当前属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    详情请参见:应用数据平台数据源

    1)默认屏蔽该功能,用户若想使用,请联系技术支持。

    2)数据预览支持预览表单最近 10 条数据,不支持自定义预览样本量。

    3)数据转换节点中,支持使用应用数据平台」数据源。

    4)支持云端取数分页/优化手动终止逻辑。详情请参见下方表格内容:

    点击展开更多

    对接应用数据平台的整体拉数逻辑,分为两个阶段:

    • 阶段1:SaaS → 应用数据云端。

    • 阶段2:应用数据云端 → FDL。

    4.2.0.2 之前版本4.2.0.2 及之后版本
    在任务出现异常或者手动停止时,不会终止云端抽数,FDL 再次运行任务时,产生冗余数据

    例如:

    用户初次同步,起点为2024-11-01 00:00:00,后续用户调试时中断任务,起点调整为 2024-11-05 00:00:00,再次运行任务,会取到2024-11-01 00:00:00 ~ 2024-11-05 00:00:00的数据

    在任务出现异常或者手动停止时,会终止云端抽数
    阶段1拉取所有符合条件的数据后,才会开始阶段2,造成问题:
    • 阶段1对于用户来说完全黑盒,用户感知上一直卡住不动

    • 数据在阶段2才会开始入库,如果阶段2出问题,阶段1需要重跑,用户体验很差

    阶段1增加分页逻辑:

    • FDL 在触发同步时,先去查询阶段1的进度

    • 基于同步进度,FDL 对已拉到云端的数据,进行分批下拉

    • 分批下拉后,刷新算子读取数据量并展示在前端实时日志中

    血缘分析支持Hive的SQL解析

    定时任务中数据来源中配置方式选择「SQL」时,血缘分析功能支持 Hive 数据源。详情请参见:血缘分析

    字段映射中可获取Doris2.1.6以上版本的字段注释

    Doris 2.1.6 以上版本,字段映射中可获取到字段注释。详情请参见:数据同步-数据去向与映射

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-15018 数据管道中止,报错:Binlog读取异常。此版本已修复。

    2)FDL-15035 Oracle19c 数据同步到 Oracle19c,目标表为自动建表,date 字段映射之后变成了 timestamp 字段类型。此版本已修复。

    3)FDL-15071 「文件输入」算子中勾选读取子文件夹按钮,预览会报错数组越界。此版本已修复。

    4)FDL-15116 SQL 语句在开发模式正常,发布到生产模式后发现 SQL 语句中的空格没了。此版本已修复。

    4.2.0.1

    lic控制增加实时数据开发、数据管理治理模块

    lic 控制增加实时数据开发、数据管理治理模块。

    详情请参见:功能点限制

    适配 openGauss 数据源

    FineDataLink 支持连接 openGauss,进行定时任务读写功能、库表管理功能。如下图所示:

    详情请参见:配置openGauss数据源

    1731567613591436.png

    实时任务支持分流

    注:该功能属于内测阶段,如需试用或者了解详细信息,请联系技术支持(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    数据分发支持同时输出至多张表,用户可根据业务需要,将同一数据表中的不同字段处理后分别输出至多张表。如下图所示:

    详情请参见:数据分发-实时任务

    4.png

    Amazon S3 数据连接逻辑优化

    Amazon S3 数据连接中,统一用 S3 协议兼容目前已支持的全部文件存储系统。

    数据开发-定时任务中可使用 Amazon S3 数据连接,在阿里云 OSS,华为云OBS,亚马逊 S3,MinIO 等兼容 S3 协议的对象存储中进行读取和写入。

    详情请参见:配置Amazon S3数据源

    工程前端界面将试用字样取消

    事件调度、血缘分析功能中,前端将不显示「试用」字样。如下图所示:

    6.png

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-14365 打开某个定时任务,浏览前端日志时,日志太大到底前端崩溃,报错:STATUS_STACK_OVERFLOW此版本已修复。

    2)FDL-14785 数据连接改名后,之前配置的数据服务 API 无法打开。此版本已修复。

    3)FDL-14814 管道任务遇到脏数据终止运行,复制该管道任务,发现复制的管道任务运行后报错Caused by: java.lang.IndexOutOfBoundsException: Index: 7, Size: 7此版本已修复。

    4)FDL-14894 读取吉客云数据,报错:科学计数法类型错误。此版本已修复。

    5)FDL-14988 JSON生成算子中勾选按分组字段合并JSON字段,表中数据为null,json 生成的字段会缺少。此版本已修复。


    附件列表


    主题: 管理系统
    已经是第一篇
    已经是最后一篇
    • 有帮助
    • 没帮助
    • 只是浏览
    • 评价文档,奖励 1 ~ 100 随机 F 豆!

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持