反馈已提交

网络繁忙

4.2.6更新日志

  • 文档创建者:Wendy123456
  • 历史版本:20
  • 最近更新:Wendy123456 于 2025-06-27
  • 兼容说明

    1)若升级到 4.2.6.1 及之后版本&重新注册,管理系统>注册管理>功能列表中的功能点,不再显示决策平台数据门户(不影响功能的使用)。

    2)升级到 4.2.6.2 及之后版本时,需注意:

    变更点
    说明

    JAR 包变更:

    删除了fdl-offline-4.2.jar、fdl-pipeline-4.2.jar、fdl-stream-4.2.jar

    新增 fdl-datadevelop-offline-4.2.jar、fdl-datadevelop-stream-4.2.jar、fdl-datapipeline-stream-4.2.jar、fdl-engine-4.2.jar、fdl-realtime-center-4.2.jar、fdl-datacenter-4.2.jar

    用户升级前,需要手动删除%Tomcat/webapps/webroot/WEB-INF/lib下fine-和fdl-开头的 JAR

    再将新的 JAR 包放置到%Tomcat/webapps/webroot/WEB-INF/lib

    该版本内容变更较大,升级前做好 FineDB 和文件备份


    数据服务 API 功能变更

    升级后不影响已上线任务的正常调用,但是编辑 API 可能会修改请求 json 的格式,注意提醒 API 调用方同步变更

    数据服务响应头的 Content-Type 从 text/json 变更为 applicaiton/json ,升级前确认一下之前是否通过代码对接,并且代码里指定解析了 text/json 。如果做了针对性的解析,需要调整请求类型,不然调用会失败

    3)用户升级到 4.2.6.4 及之后版本后需注意:

    • 若升级前未注册「数据血缘」功能点,升级后注册「数据血缘」功能点,需要点击重置血缘」按钮,刷新血缘。

    • 若升级前使用血缘分析功能,升级后未注册「数据血缘」功能点,后续若再注册「数据血缘」功能点,需要点击重置血缘」按钮,刷新血缘。

    4.2.6.4

    血缘解析逻辑优化

    优化前:

    任务中使用 SQL 语句SELECT * FROM abc查询 Oracle 数据时,库表名不加双引号会默认转换为大写进行匹配,会去查询是否有 ABC 的表。

    但血缘解析时会到数据库中查找 abc 是否存在;若不存在,则血缘解析失败。

    优化后:

    统一 Oracle 数据库中查询和血缘解析的逻辑;Oracle 数据源解析支持模糊匹配大小写表名,查询 SQL 语句中:

    • 加双引号:库表名区分大小写,比如与数据库中的实际名称完全一致;

    • 不加双引号:库表名不区分大小写,会默认转换为大写进行匹配。

      库表管理支持重置血缘

      用户前期升级时数据连接 A 连接失败,升级后数据连接下的表就无血缘关系。若想更新血缘,需要重新发布任务,但不确定哪些任务用到了这个数据连接下的表。

      本版本新增「重置血缘」功能,支持以数据连接为维度刷新血缘。

      详情请参见重置血缘

      1.jpg

      支持查看数据连接与资源的引用关系

      因业务需求调整,导致数据库发生变更,用户需要同步修改任务中使用的数据连接,但是不清楚每个数据连接被多少任务用到,不方便调整。

      在数据连接管理页面,对有权限的数据连接,支持用户查看数据连接与资源的引用关系,查看具体的任务明细,并跳转至任务配置页进行调整。详情请参见:引用关系

      8.jpg

      维度表输入算子优化

      「维度表输入」算子中,新增配置方式:SQL、选表。维度表支持先写入 SQL 对数据进行处理,再与其他表进行关联。

      详情请参见:维度表输入&数据关联

      1.png

      实时任务支持配置 Flink 引擎

      数据开发-定时任务支持配置 Flink 引擎,使 FineDataLink 具备聚合计算的能力,能够支撑部分条件下实时数仓、实时数据看板的搭建。

      详情请参见:Flink引擎

      2.png

      数据关联算子优化

      「数据关联」算子中,支持多个实时数据源进行关联。

      详情请参见:维度表输入&数据关联

      9.jpg

      实时任务支持 Websocket 读写

      支持 配置 WebSocket 数据源,在数据开发-实时任务中读取和写入 WebSocket

      10.jpg

      适配 Ymatrix 6.x 数据源

      FineDataLink 支持连接 Ymatrix 6.x 版本数据源,详情请参见:配置YMatrix数据源

      数据管道删除任务优化

      在管道任务中移除某张表时,支持同步清理该表对应的脏数据,避免数据堆积导致性能下降。

      修复BUG

      本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

      1)FDL-18644 给普通用户禁用数据连接管理的权限,但分配某个数据连接的权限,在数据同步时点击测试连接报错。此版本已修复。

      2)FDL-18613 FineDataLink连接 redshift 后,无法查看表名。此版本已修复。

      3)FDL-18526 FineDataLink 环境内存泄漏。此版本已修复。

      4)FDL-18451 管道任务中对之前已同步过的表,再次创建任务触发同步,数据缺失。此版本已修复。

      5)FDL-16211 接口循环取数同步到表缺数据。此版本已修复。

      4.2.6.3

      管道任务监控指标优化

      丰富管道任务的「运行统计异常排查指标,帮助用户更好地查看运行现状并识别异常问题,提升运维效率。

      1)单个管道任务详情页中:

      • 支持跳转到实时采集任务。

      • 来源端为 MySQL、Oracle、SQLServer 时,显示日志解析延迟时间。

      • 展示最新的读取消息、写入消息时间。

      详情请参见:管道任务状态、表状态说明

      9.png

      2)单个管道任务详情页中,优化实时统计、历史统计Tab下的内容,详情请参见:管道任务配置详情、运行详情说明

      「管道活动>实时统计Tab下

      • 去掉读取总量指标卡。

      • 输出总量更名为写入总量,不再展示输出速度。

      • 表格数据列进行调整。

      「管道活动>历史统计Tab下

      • 去掉读取总量指标卡。

      • 输出总量更名为写入总量,不再展示输出速度。

      • 待同步量、写入总量使用图表形式展示。

      • 表格数据列进行调整。

      10.png

      3)管道任务运维-任务管理 表格中,新增数据列:来源表数。

      实时采集任务运维优化

      实时采集任务运维优化:

      • 新增依赖关系Tab:展示依赖该实时采集任务的管道任务列表、实时任务列表。

      • 来源为 Oracle、MySQL、SQLServer 时,显示「日志解析延迟时间」。

      • 解析中的表Tab:新增实时统计、历史统计。

      • 可查看所有数据采集任务的运行情况。

      详情请参见:实时采集任务运维

      11.png

      共创版专属功能点增加Beta标识

      共创版专属功能点增加 Beta 标识。如下图所示:

      12.png

      修复BUG

      本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

      1)FDL-18567 定时任务日志级别为 INFO,循环容器日志不显示详情。此版本已修复。

      2)FDL-18554 开发模式编辑后,不点击保存,直接点击还原按钮,还原生产模式的内容,内容成功还原,但发布按钮还是标红。此版本已修复。

      3)FDL-18543 管道任务开启了自动重试,运行报错realtime center table error-table,没有进行重试直接中止。此版本已修复。

      4)FDL-18527 应用数据源授权报错 404 。此版本已修复。

      5)FDL-18508 实时采集任务无法删除。此版本已修复。

      6)FDL-18469 管道任务未开启 DDL,暂停后添加超长字段名的字段,再启动会返回 null 的异常。此版本已修复。

      7)FDL-18393 数据管道写入星环 ArgoDB 报错。此版本已修复。

      8)FDL-18236 管道任务中来源端为 Oracle,报错:java.lang.RuntimeException: java.sql.SQLException: ORA-01281: SCN range specified is invalid,但管道任务的 fine_dp_pipeline_savepoint 是{"incrementalTimestamp":0,"scn":"8146896724"}

      ,在数据库查了是还在的。此版本已修复。

      8)FDL-16988 sap 接口数据在 FDL 中预览,只显示了返回数据的一半。此版本已修复。

      4.2.6.2

      定时任务排队中实例执行策略优化

      应用场景:

      • 使用定时任务做了很多高频的分钟级别调度,当任务卡顿导致后续调度拉起的任务重复排队。

      • 使用定时任务做了大量调度,出现线程不足问题。

      功能简介:

      • 针对分钟级别的任务批量开启实例执行策略,当任务卡住的时候,后续仅保留最新进入队列的 实例,其余跳过。注:仅在「生产模式」下可使用。

      • 可设置定时任务优先级。当线程数不足时,优先执行队列中级别高的流。

      详情请参见:任务控制-运行管理

      1747310601558856.png

      支持批量设置运行管理

      定时任务运维-任务管理 中,支持对多个定时任务设置 运行管理 。如下图所示:

      43.png

      运维概览界面内容更新

      运维概览界面展示工程中定时任务、管道任务、数据服务的任务数、运行状态、失败率排行、时间段内的运行情况等。如下图所示:

      详情请参见:运维概览

      39.png

      重构数据服务API开发逻辑

      1)创建 API 步骤更新为 2 个:服务内容(数据查询)、API接口配置。

      2)支持控制单次请求数据量。

      3)支持自定义开启查询分页及对应的参数。

      4)支持自定义请求参数和返回数据的数据结构。

      详情请参见:发布API概述

      40.png

      支持自定义应用路径

      数据服务-应用中,支持修改应用路径中的前缀和应用ID。如下图所示:

      详情请参见:绑定API至应用

      1747311271150287.png

      数据连接优化

      1)数据连接管理处,点击某个文件夹时,表格中:

      • 新增测试结果列。

      • 空闲连接数的值中,不再展示最大空闲连接数。

      1747311470841886.png

      2)测试连接时,检查逻辑优化。详情请参见:创建并管理数据源

      修复BUG

      本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

      1)FDL-18375 文件输入算子读取 csv 文件,将其中一个数值类型字段(34位)识别为 long(最多19位),用户使用字段设置算子把 long 转换为字符串预览报错:com.fr.dp.exception.FineDPException: Dirty data, data type conversion overflow.-[3211500350017191746543614008374615] cast to Long overflow此版本已修复。

      2)FDL-18401 4.2.5.4 版本,定时任务运维-调度计划页面中,下次运行时间列不能排序。此版本已修复。

      3)FDL-18408 4.2.6.1 版本,SAP ERP 输入算子报错:com.fr.dp.exception.FineDPException: Function execute failed-DATA BUFFER EXCEEDED此版本已修复。

      4)FDL-18452 使用 实时采集任务 功能,管道任务启动报错并发不足。此版本已修复。

      5)FDL-18461 资源迁移-定时任务普通用户无法导出此版本已修复。

      4.2.6.1

      适配 AnalyticDB MySQL 数据源

      FineDataLink 支持连接 AnalyticDB MySQL 数据源,适配功能:

      • 定时任务的读取和写入。

      • 管道任务写入。

      • 库表管理功能。

      • 数据服务功能。

      详情请参见:配置AnalyticDB MySQL数据源

      文件输入算子优化

      1)文件输入算子中,支持配置输出字段「fileName(文件名)」、「filePath(文件路径)」、「lastModifiedTime(文件修改时间)」;配置输出字段后,数据预览和实际运行时都会新增该列内容。效果如下图所示:

      详情请参见:文件输入功能说明

      2.jpg

      2)文件输入算子中,文件读取后缀取消必填校验。

      注册功能点名称优化

      详情请参见:功能点限制

      SQL server 2012 版适配 jtds 驱动

      详情请参见:配置Microsoft SQL Server数据源

      应用数据平台源取数优化

      4.2.6.1 之前版本,使用 应用数据平台数据源-美团智能版取数,目标表为自动建表&无主键&写入方式为先清空再写入时,数据会重复写入。

      4.2.6.1 及之后版本,修复该问题。

      修复BUG

      本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

      1)FDL-16893 管道任务中来源端和目标端都为 MySQL,提示有脏数据,报错:Incorrect integer value: "[B@1301d532" for column "deleted" at row 1此版本已修复。

      2)FDL-17339 管道任务中包含分组表,任务执行后进入增量阶段时,执行重新同步操作,前端提示待存量同步。此版本已修复。

      3)FDL-18005 管道任务中源端为 MySQL,DDL 可以识别到变化,但源库更新数据后,数据没有进行同步。此版本已修复。

      4)FDL-18146 用户从 4.1.13.3 直升 4.2.5.2 ,后面回退再升到 4.2.4.3 再升 4.2.5.2,运维中心获取数据服务应用调用记录失败,报错get api monitor list error;数据服务更改应用配置保存失败,报错api not exist此版本已修复。

      5)FDL-18165 SparkSQL里把一段语句注释了,后面的表输出获取字段没有问题,但执行报错使用了前置节点未出现的输入源。此版本已修复。

      6)FDL-18216 升级前是 4.2.4.2 版本,先升到 4.2.4.3,然后升了 4.2.5.4;管道任务中来源端为 PostgreSQL,采集任务报错槽不存在,数据库检查没有这个槽,禁用清空采集任务之后,复制管道重新启动还是这个报错。此版本已修复。

      7)FDL-18254 字段设置时,若输入字段名称搜索了部分字段,在搜索结果中进行多选并删除,删除的是选中以外的所有字段。此版本已修复。

      附件列表


      主题: 管理系统
      • 有帮助
      • 没帮助
      • 只是浏览
      中文(简体)

      鼠标选中内容,快速反馈问题

      鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

      不再提示

      10s后关闭



      AI

      联系我们
      在线支持
      获取专业技术支持,快速帮助您解决问题
      工作日9:00-12:00,13:30-17:30在线
      页面反馈
      针对当前网页的建议、问题反馈
      售前咨询
      采购需求/获取报价/预约演示
      或拨打: 400-811-8890 转1
      qr
      热线电话
      咨询/故障救援热线:400-811-8890转2
      总裁办24H投诉:17312781526
      提交页面反馈
      仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持