兼容说明
1)4.2.8.1版本「应用数据源」涉及升级,请做好 FineDB 备份。若需升级,请先联系技术支持。
2)4.2.8.1 版本应用数据源升级后,名称会被定义为默认的类型名称,若客户升级前单个数据连接中的应用数据源过多,会无法区分对应的名称,请谨慎升级,该问题在 4.2.8.2 版本优化。
3)4.2.8.4 版本涉及文件升级,请做好 FineDB 和文件备份。
4.2.8.5
适配飞书表格数据源
FineDataLink 支持连接飞书表格数据源,支持:定时任务读取、定时管道任务读取。
详情请参见:配置飞书表格数据源
KingBaseES(SqlServer模式)数据源新增适配功能
KingBaseES(SqlServer模式)数据源适配:实时任务写入、实时管道任务写入,满足实时数据写入场景。
详情请参见:配置KingBaseES(SqlServer模式)数据源
KingBaseES(MySQL模式)数据源新增适配功能
KingBaseES(MySQL模式)数据源适配:实时任务写入、实时管道任务写入,满足实时数据写入场景的需求。
详情请参见:配置KingBaseES(MySQL模式)数据源
回收站清理逻辑优化
清空回收站时,所有文件将作为一个整体进行处理:要么全部清空操作成功,要么整个清空操作失败(即所有文件均保留)。
详情请参见:回收站
定时管道任务写入方式逻辑优化
优化定时管道任务写入逻辑,完善目标表和来源表主键映射不匹配场景的处理机制。
详情请参见:写入方式
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-20152 数据服务 API 调用报错。此版本已修复。
2)FDL-20066 SAP ERP 读取 time 类型字段报错空指针。此版本已修复。
3)FDL-20054 定时任务中使用循环容器,任务运行导致内存负载异常。此版本已修复。
4)FDL-20040 读写 FineBI公共数据导致 FineBI 内存负载异常。
5)FDL-20035 版本升级后,所有 DolptinDB 适配的二开数据源任务运行失败。此版本已修复。
6)FDL-20016 定时任务中读取图片内容性能较差。此版本已修复。
7)FDL-20008 采集任务偶尔变成已停止状态,刷新后恢复。此版本已修复。
8)FDL-19973 查看定时任务的运行记录,连续点击查看详情,任务节点显示有误。此版本已修复。
9)FDL-19441 版本升级后,实时模块并发变为 0。此版本已恢复。
4.2.8.4
支持发布数据接收 API-通用请求
数据服务模块支持发布数据接收 API,可接收上游下发的数据,解析后写入数据库。
详情参见文档:数据接收-通用API接收
支持发布数据接收API-实时接收简道云推送数据
应用场景:
用户使用 简道云输入 算子将表单数据落库,为确保数据时效性给定时任务设置了分钟级的执行频率,但由于简道云表单数据并非频繁更新,导致定时任务出现无效执行的情况。
用户希望仅在表单数据发生变更时才触发数据同步,避免无意义的任务执行。
功能简介:
数据服务模块提供简道云数据接收功能,当简道云表单数据变化后,可通过已发布的数据接收接口,将表单数据实时同步到数据库中。如下图所示:
详情请参见:数据接收-简道云表单推送
写入方式支持配置数据分批&写入间隔
针对定时任务、实时任务及实时管道任务向 StarRocks/Doris/SelectDB 的写入场景,写入方式新增「数据分批」和「写入间隔」配置。
用户可通过自定义分批条件与批次间的写入间隔时间灵活调整写入频率,有效解决大批量数据或高频次写入引发的数据库压力过载问题,显著提升大数据量场景下的数据写入稳定性。
详情请参见:SelectDB数据源特性说明、StarRocks数据源特性说明、Doris数据源特性说明
发布 API 时支持为数组内的字段添加备注
发布数据查询 API 时,新增数组内字段描述配置功能。用户可对数组中的字段单独添加业务描述,且该描述信息将随「导出API文档」一同导出,帮助 API 调用方更清晰地理解字段含义,提升接口理解与使用效率。
详情请参见:数据查询API功能说明
数据查询 API 支持设置 HTTP 状态码
数据查询 API 支持设置 HTTP 状态码,若勾选「反映异常信息」按钮,接口异常信息将反映在 HTTP 状态码上;否则 HTTP 状态码仅返回 200 或 404。如下图所示:
详情请参见:数据查询API功能说明
定时任务支持导出脏数据
统计信息中支持查看脏数据详情,支持「导出脏数据明细」,帮助用户快速定位脏数据产生的原因。如下图所示:
详情请参见:定时任务界面介绍
Clickhouse 适配高版本驱动
低版本 Clickhouse 驱动限制了 DateTime64 类型的最大和最小值,若需使用完整范围的 DateTime64 类型,请使用高版本驱动。
详情请参见:配置ClickHouse数据源
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-19966 实时任务运行,cpu 占用高。此版本已修复。
2)FDL-19868 循环容器条件配置中,在某个日期之前,小于号会自动变为小于等于。此版本已修复。
3)FDL-19711 实时任务中,使用数据过滤算子通过属于条件对长整型数字过滤,会丢失精度,导致过滤不生效。此版本已修复。
4)FDL-19669 在运行定时任务时,大数据量日志刷新可能会导致定时任务日志偶发性白屏。此版本已修复。
5)FDL-19617 数据分流后,不支持写入整型类型的字段。此版本已修复。
6)FDL-19606 从 4.2.7.2 版本升级到 4.2.7.4 版本,升级后个别管道重启无法正常运行,但采集任务没有 ERROR 级别的日志。此版本已修复。
4.2.8.3
适配Cache数据源
FineDataLink 支持连接 Cache 数据源,适配功能:
定时任务读取和写入。
数据服务。
库表管理。
详情请参见:配置Cache数据源
InterSystems IRIS数据源支持读取数据库存储过程
定时任务中,InterSystems IRIS 数据源支持读取数据库存储过程,返回查询结果集作为表输入。
详情请参见:定时任务调用数据库存储过程
LogDB 表结构新增「实时任务」信息
为了准确、及时获取到用户对实时任务的使用情况,LogDB 表结构新增「实时任务」信息。
详情请参见:LogDB 表结构
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-19874 天翼云K8S环境部署 FineDataLink 时,推镜像到仓库后,安全扫描显示镜像有很多漏洞。此版本已修复。
2)FDL-19710 使用金蝶云星空数据源获取的「凭证」数据表报错。此版本已修复。
3)FDL-19709 暂停实时任务后,FineDataLink 宕机。此版本已修复。
4)FDL-19675 FineDataLink 从 4.2.0 升级至 4.2.8.1 后,集任务提醒传输队列异常。此版本已修复。
5)FDL-19645 任务运行记录在日志中不展示。此版本已修复。
4.2.8.2
新增定时管道功能
当前开发者在对接标准平台时,面临云上应用数据源对接对接效率低下、运维成本高的问题。
针对云上应用数据源对接难题,新增「定时管道」功能。在定时管道任务中,支持对接云上应用数据源,并实现主子表取数解析。支持自定义任务配置与调度,提供全流程运行监控能力,有效提升对接效率,降低运维成本。
详情参见文档:定时管道概述
适配 KingBaseES(MySQL模式)数据源
FineDataLink 支持连接 KingBase ES(MySQL模式)数据源,适配功能:
定时任务读取和写入
实时管道任务读取
数据服务
库表管理
详情请参见:配置KingBaseES(MySQL模式)数据源
适配 KingBaseES(SqlServer模式)数据源
FineDataLink 支持连接 KingBaseES(SqlServer模式)数据源,适配功能:
定时任务读取和写入
实时管道任务读取
数据服务功能
库表管理功能
详情请参见:配置KingBaseES(SqlServer模式)数据源
应用数据源优化
优化前:用户在一个「应用数据源」连接中新增多个授权,4.2.8.1 版本升级后存在两个问题:一是数据连接名称会被定义为默认的类型名称,导致难以有效区分和管理。二是原文件夹下「应用数据源」数据连接会移动至根目录下。
优化后:拆分原「应用数据源」数据连接时,名称默认规则调整为为:「数据连接名称-应用数据源名称」,以保持各连接的区分度。同时,版本升级后,原数据连接会保留在对应的文件夹,避免位置错乱。
定时管道子表索引优化
定时管道任务中,当子表单独输出且对应的目标表为自动建表时,等值更新的字段会创建索引,避免了无索引导致的低效全表扫描问题。
详情参见文档:配置定时管道任务
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-19747 集群环境从 4.2.2.1 升级到 4.2.8.1 后,普通用户在任务中使用数据连接时一直处于加载中。此版本已修复。
2)FDL-19687 因补数逻辑问题,导致部分管道任务没有读取到增量数据。此版本已修复。
3)FDL-19669 在运行定时任务时,大数据量日志刷新可能会导致定时任务日志偶发性白屏。此版本已修复。
4)FDL-19644 单个任务中存在多个算子,拖动算子卡顿。此版本已修复。
5)FDL-19622 读取 SQLServer 时间数据存在 1 小时时差,文件输入预览时间数据也存在 1 小时时差。此版本已修复。
6)FDL-19571 信创版本无法执行 oceanbase 的 oracl 版本存储过程。此版本已修复。
7)FDL-19561 selectdb-doris-2.1.8,作为来源端取数设置别名后未生效,后面的算子识别不到别名。此版本已修复。
4.2.8.1
应用数据源优化
优化云端应用数据源操作流程,将原「应用数据源」拆解为多个独立数据源类型,并整合至「应用系统」分类下。
拆分后的数据源类型有:吉客云、旺店通(旗舰版)、美团管家智能版、聚水潭、金蝶云星空(企业版),支持:定时任务读取、定时管道任务读取。
消息通知优化
邮件通知支持添加附件
用户希望将上游节点生成的文件,作为邮件附件推送给指定用户。
本次版本邮件通知渠道中支持添加附件,满足数据传输需求。如下图所示:
详情请参见:邮件通知
支持 WeLink 通知方式
新增「WeLink」通知方式,支持将定时任务的消息通知发送给 WeLink 用户,提升任务结果的传递效率。
详情请参见:WeLink 通知
数据管道Kafka输入支持选择仅增量同步
优化前:实时管道任务中,Kafka 数据源仅支持从最早 Offset 开始同步 ,若 Kafka 数据量较大,会存在大量数据冗余数据同步的问题。
优化后:实时管道任务的 Kafka 数据源同步起点新增「任务启动时间」选项,支持从任务启动时间开始同步数据,避免同步不必要的历史数据。
详情请参见:数据管道任务-Kafka
数据服务支持为应用设置黑白名单
功能入口优化:
黑白名单规则设置调整至「规则管理」中。如下图所示:
在全局黑白名单的基础上,数据服务新增「应用」级别黑白名单设置。用户可为不同应用单独配置黑白名单,精准管控应用访问权限,规避因认证信息泄露引发的调用方越权访问风险。
详情请参见:配置API黑白名单
行转列算子优化
行转列算子的生成列数上限由 100 列提升至 300 列。
详情请参见:行转列
FineDB 表结构新增「定时管道任务」信息
为了准确、及时获取到用户对定时管道任务的使用情况,FineDB 表结构新增「定时管道任务」信息。
详情请参见:FineDB表结构
修复 BUG
本节中附上了已修复的 BUG 编号,若客户对某个 BUG 有问题可把对应编号发给技术支持进行解答(技术支持联系方式:前往「服务」,选择「在线支持」、电话「400-811-8890」)。
1)FDL-19423 Oracle 管道任务中部分表获取不到增量数据。此版本已修复。
2)FDL-19279 XStreamtream 为源端的采集任务中,「源库可用日志时间」展示的为最新时间。此版本已修复。
3)FDL-18643 实时任务中使用 MQTT 输入,任务正常运行但不输入数据。此版本已修复。