反馈已提交

网络繁忙

4.2.9更新日志

  • 文档创建者:Wendy123456
  • 历史版本:12
  • 最近更新:Naya 于 2025-09-01
  • 4.2.9.4

    数据服务支持流控机制和异常告警机制

    详情请参见:流控规则&报警规则

    1)FineDataLink 目前未对数据服务 API 做并发限制,并发高时会把 Tomcat 线程占满导致浏览器页面无法访问,影响到整个 FineDataLink 的工程。

    本版本支持在全局 API 维度/API维度设置调用次数限制,在出现瞬时高并发访问时,超限制的那部分请求会快速失败。

    10.png

    2)当数据服务产生的 API 接口请求超时或者有问题时,希望发送邮件预警;用户之前只能到数据服务运维界面查看到报错信息或者等业务反馈,不够及时。

    此版本支持在API维度,添加报警规则,达到报警条件后,进行通知。

    1756344992953279.png

    数据接收支持写入GaussDB 100

    数据接收 API 支持写入 GaussDB 100。

    通用配置-字段映射规则适配ClickHouse 

    通用配置-字段映射规则 适配 ClickHouse。

    支持 Chrome86 版本内核浏览器

    支持 Chrome86 版本内核浏览器,但对旧版本浏览器兼容有限,页面显示上存在部分异常,仅保证功能可用。

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-20568 「运维中心>运维概览处,定时任务的各时段运行实例总览处,对应时段统计到的明细,跟实际的不一致。此版本已修复。

    2)FDL-20659 实时管道任务中,数据去向为 Ymatrix,目标表为自动建表且开启了同步时标记时间戳,任务启动后,时间戳正常;在目标端手动新建一张表,将目标表更换为已存在表,再次启动实时管道任务后,时间戳变为 Null。此版本已修复。

    3)FDL-20555 SFTP 数据连接测试连接正常,获取列表一直加载,同步报错Caused by: java.util.NoSuchElementException: Timeout waiting for idle object, borrowMaxWaitDuration=PT5M。复制连接正常,旧连接改了连接名重置之后也恢复正常了。此版本已修复。

    4)FDL-20571 已发布的定时任务 a 设置实例执行策略为保留最新的排队示例,其余跳过,修改任务1,再次发布,实例执行策略会失效,变成按排队顺序执行此版本已修复。

    5)FDL-20607 定时任务写入到 Hive 数据库,任务执行卡住。此版本已修复。

    4.2.9.3

    定时任务画布操作和布局优化

    定时任务编辑界面增加标签页操作

    定时任务编辑界面增加标签页操作,鼠标右键点击标签页,支持:关闭、关闭其他、关闭全部。当标签页打开过多,切换标签页时形成干扰,可以快捷地批量关闭标签页。如下图所示:

    11.png

    支持快捷修改节点名称

    鼠标悬浮节点面板标题时,点击「编辑」按钮,支持快捷修改节点名称。如下图所示:

    12.png

    优化快捷键概览面板展示形式

    定时任务中,快捷键页面优化后如下图所示:

    13.png

    画布为空状态时加快捷键水印说明

    画布为空状态时加快捷键水印说明;支持快捷键的按钮加悬浮提示。如下图所示:

    14.png

    适配亚马逊数据源

    支持连接亚马逊数据源,支持定时管道任务读取。

    详情请参见:配置亚马逊数据源

    15.png

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-20378 运维中心>定时任务>任务管理中,点击任务的调度计划,没有反应。此版本已修复。

    2)FDL-20386 数据库将表 a 复制为 a_copy,使用表 a 作为实时管道任务的源表(FineDataLink 为集群工程),实时管道任务启动后,删除源表,实时管道任务终止,将 a_copy 改名为 b,开启实时管道任务,实时采集任务处提示:获取实时采集任务列表失败。此版本已修复。

    3)FDL-20407 从 SAP Sybase ASE 取数,写 SQL 语句进行上下合并,字段映射方式为同名映射,任务报错此版本已修复。

    4)FDL-20413 定时调度从 14 号凌晨 3 点后全未运行,手动运行可以运行任务,新建了定时调度也是未能运行此版本已修复。

    4.2.9.2

    FTP/SFTP数据连接支持更多配置

    详情请参见:配置FTP/SFTP数据连接

    1)FTP 数据连接中,支持配置加密方式。如下图所示:

    1755160460464875.png

    2)SFTP 数据连接中支持配置 FineDataLink 与 SFTP 服务器建立连接时的超时时间,如果超过这个时间,则连接将被关闭,连接报错。

    还支持配置数据传输过程中连接等待数据返回的最长时间,超过此时间会强制中断连接。

    1755160629751105.png

    SSH数据连接支持更多配置

    详情请参见:配置SSH协议数据连接

    1)支持 6.X 以上版本的 OpenSSH。

    2)支持配置与 SSH 服务器建立连接时的最长等待时间,超过此时间会连接报错;还支持配置公钥认证。如下图所示:

    1755160775763958.png

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-20223 定时任务中来源库和目标库都是 SQL Server,写入方式为直接将数据写入目标表,用三个逻辑主键去更新目标表,其中目标表为自动建表,同步后,目标表中存在重复数据。此版本已修复。

    2)FDL-20224 数据服务移动已上线的 API 报错文件出错。此版本已修复。

    3)FDL-20244 数据源为 Doris,SQL 语句中嵌套了多层'\''转义符的写法,运行参数赋值节点会直接报错运行失败。此版本已修复。

    4)FDL-20286 实时管道任务详情页中显示写入延迟时间,但运维首页中,不显示延迟时间此版本已修复。

    5)FDL-20303 工程启动失败,报错FDL Version: 4.2.8.3 Build#persist-2025.07.17.18.16.00.937 FDL module [data-develop] start failed! 排查原因是应用数据源连接失败,工程启动时会校验这个。此版本修改工程启动校验逻辑。

    6)FDL-20317 实时任务中,读取 MQTT 数据源输出到数据库表时,没有识别出通配符。此版本已修复。

    7)FDL-20321 开启内存计算后,定时任务的「DB表输入算子后分流(分流仅选择部分字段),接参数输出算子,运行任务后报错:参数输出找不到字段。此版本已修复。

    4.2.9.1

    适配旺店通(企业版)、万里牛、领星、京准通数据源

    定时管道读取端适配旺店通(企业版)、万里牛、领星、京准通数据源。

    详情请参见:配置旺店通(企业版)数据源配置万里牛数据源配置领星数据源配置京准通数据源

    1754556838976996.png

    定时任务日志优化

    优化前:

    定时任务运行结果不符合用户预期需要排查时,工程内看到的前端日志信息不明确、内容太多、不好操作等问题,导致排查过程比较麻烦。

    • 无法获取到所需排查信息,定位不到问题。

    • 信息在后端日志中,搜索过程漫长复杂。

    • 排查时需要做的操作在前端日志里不方便操作。

    优化后:

    1)运行日志中新增打印集群节点、启动前动作时间、「SAP输入API输入的信息和响应时长、Kettle 调用结果、脚本连接信息、版本号、选表时用的 SQL 信息。

    详情请参见:定时任务运行日志介绍

    2)日志 Tab 下新增「查找」按钮,可输入关键词查找日志信息。如下图所示:

    详情可参见:定时任务界面介绍

    67.png

    3)新增「任务发布版本」信息,方便用户排查任务运行问题。如下图所示:

    详情请参见:定时任务运维-运行记录

    68.png

    数据服务API默认应用前缀优化

    优化前:

    应用路径前缀默认为 service/publish,在数据接收和其他非发布场景下,publish 语义不再适用。

    1754558084727328.png

    优化后:

    1754558198637203.png

    应用路径前缀默认为 service,去掉 publish。

    返回值排序逻辑优化

    数据服务-数据查询 API 中,返回值排序设置项逻辑优化:

    • 数据源为 Doris、StarRocks、Impala 时,若开启了分页取数,会提示:为确保正常分页,请指定有效的排序字段

    • 数据源为 GreenPlum、YMatrix、GaussDB 200、TiDB、AnalyticDB MySQL、TRANSWARP INCEPTOR、KingbaseES(MySQL)、KingbaseES(Oracle)、Cache 时,若开启了分页取数,必须配置返回值排序。

    详情请参见:数据查询API功能说明

    注册优化

    1)公有云认证改名为在线注册。

    2)本地机器信息认证时,需要将应用工程 ID 信息发给商务。

    详情请参见:本地机器信息认证公有云认证

    SparkSQL自定义函数支持插件

    用户需要 SparkSQL 自定义函数来处理数据,目前只能写 JAR 包实现,对接器不完善且流程不规范,期望开放 SparkSQL 自定义函数的插件接口。

    此版本提供 SparkSQL 自定义函数插件接口,保证用户能够顺畅使用开发的插件。

    详情请参见:Spark SQL自定义函数插件

    修复BUG

    本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。

    1)FDL-20204 实时任务分组汇总后字段名传递异常。此版本已修复。

    2)FDL-20002 管道任务终止,报错采集器异常,报错代码为 ORA-01000。此版本已修复。

    3)FDL-20096 数据服务 API 导出文档里的参数名和 API 详情页的参数名对不上。此版本已修复。

    4)FDL-20137 用户工程为 OPS 部署,FinDataLink 为集群工程,redis 是单机,某时刻出现大量构建中的任务,导致任务运行很慢,且 redis 内存报警。此版本已修复。

    5)FDL-20155 启动实时管道任务一段时间后暂停实时管道任务,来源端新增数据,采集任务读到增量,重启 FineDataLink 工程,再次启动实时管道任务,发现增量数据未同步,原因是工程重启后发生了 topic 切换,应该继续使用历史 topic。此版本已修复。

    6)FDL-20162 定时任务第一次开启任务日志级别为error/warn,保存之后再修改为 info,前端日志不会打印 info 级别的日志;任务开启 info 级别日志之后,再关闭日志等级设置,之后运行任务还是会打印 info 级别的日志。此版本已修复。

    7)FDL-20185 数据服务查询 API 中,修改 SQL 语句中的自定义参数名称,服务入参处参数名称不会自动变化。此版本已修复。

    8)FDL-20187 使用文件传输节点,上传文件到服务器本地目录,同名的文件第一次上传成功,后面再上传同名的文件,就会偶发的上传失败;报错的文件是 6M,用小一点的文件测试,没有复现出这个报错。此版本已修复。

    9)FDL-20191 定时任务读取 API 数据,解析参数后每一行都保留了 API 的原始数据,导致每一行的数据都非常大,如果报了脏数据,输出到前端的日志太大了,会导致前端直接卡死。此版本已修复。

    10)FDL-20217 数据服务查询 API 接口中,参数编辑之后(设置为非必填)不会生效,每次重新打开都会默认必填。此版本已修复。

    11)FDL-20250 定时任务从简道云同步数据至 Gauss 200,报错:ERROR: dn_6001_6002: invalid input syntax for type timestamp: "何洁" Where: referenced column: update_time;查看其中的字段,发现不能同步四个字段,或者单独同步四个字段中的一个,能成功写入,但是会写入到错误的字段中;此版本已修复。


    附件列表


    主题: 管理系统
    • 有帮助
    • 没帮助
    • 只是浏览
    中文(简体)

    鼠标选中内容,快速反馈问题

    鼠标选中存在疑惑的内容,即可快速反馈问题,我们将会跟进处理。

    不再提示

    10s后关闭



    AI

    联系我们
    在线支持
    获取专业技术支持,快速帮助您解决问题
    工作日9:00-12:00,13:30-17:30在线
    页面反馈
    针对当前网页的建议、问题反馈
    售前咨询
    采购需求/获取报价/预约演示
    或拨打: 400-811-8890 转1
    qr
    热线电话
    咨询/故障救援热线:400-811-8890转2
    总裁办24H投诉:17312781526
    提交页面反馈
    仅适用于当前网页的意见收集,帆软产品问题请在 问答板块提问前往服务平台 获取技术支持